← heapsort-ai

bug fix

6 items

DOC↑ trendingReddit r/LocalLLaMA·il y a 19j

Latest b9274 Addresses MTP VRAM leak

La mise à jour b9274 résout un problème de fuite de VRAM dans les modèles MTP (Multi-Token Prediction), où les ressources allouées au GPU n'étaient pas libérées lors des cycles de veille/reprise. La correction implique la réinitialisation explicite des ressources du décodeur spéculatif, du contexte de brouillon et du modèle de brouillon dans la fonction destroy() afin d'éviter les erreurs de manque de mémoire.

47
ARTICLEDEV.to AI·il y a 18j

The Magento multi-store bug every AI description generator has — and how we fixed it

Un client rencontrait des problèmes avec 8 000 SKUs sur plusieurs vues de magasin Magento nécessitant des descriptions générées par IA. Les modules d'IA existants présentaient un bug qui écrasait toutes les vues de magasin, que l'auteur a corrigé en développant un nouveau module open-source avec une abstraction à quatre fournisseurs.

27
ARTICLEDEV.to AI·il y a 12j

An MCP server can vanish from your AI agent mid-conversation. Here's the 30-second timeout that did it to me.

Un serveur MCP peut disparaître d'un agent IA en pleine conversation à cause d'un timeout de 30 secondes, amenant l'agent à réimplémenter des fonctionnalités avec Bash et curl sans se rendre compte de la perte de l'outil. Cet article détaille le diagnostic et la solution d'une ligne pour ce mode de défaillance crucial dans stdio MCP.

27