model inference

2 items

DOC↑ trendingHacker News (AI)·9d atrás

AI Agent that at inference time updates it's harness and model weights

Este conteúdo descreve um agente de IA capaz de atualizar sua estrutura e pesos de modelo dinamicamente durante a inferência. Ele se refere a um repositório GitHub que contém os detalhes e a implementação do projeto.

dynamic models AI agent machine learning software

NEWSDEV.to AI·19/04/2026

llama.cpp Speculative Checkpointing, Ollama Multimodal Tool, MLX vs GGUF for Gemma 4

As notícias de hoje destacam a fusão do checkpointing especulativo no llama.cpp para acelerar a inferência de LLMs locais e uma nova ferramenta multimodal Ollama para análise local de áudio/vídeo. Além disso, é apresentada uma comparação detalhada entre MLX e GGUF para otimizar a implantação do Gemma 4 em hardware de consumidor.

LLMs Ollama llama.cpp model inference