model inference

2 items

DOC↑ trendingHacker News (AI)·il y a 9j

AI Agent that at inference time updates it's harness and model weights

Ce contenu décrit un agent d'IA capable de mettre à jour son harnais et ses poids de modèle dynamiquement pendant l'inférence. Il renvoie à un référentiel GitHub contenant les détails et la mise en œuvre du projet.

dynamic models AI agent machine learning software

NEWSDEV.to AI·19/04/2026

llama.cpp Speculative Checkpointing, Ollama Multimodal Tool, MLX vs GGUF for Gemma 4

Les nouvelles d'aujourd'hui mettent en lumière l'intégration du "speculative checkpointing" dans llama.cpp pour accélérer l'inférence des LLM locaux et un nouvel outil multimodal Ollama pour l'analyse audio/vidéo locale. Une comparaison détaillée entre MLX et GGUF pour l'optimisation du déploiement de Gemma 4 sur du matériel grand public est également présentée.

LLMs Ollama llama.cpp model inference