DOC↑ trendingReddit r/LocalLLaMA·vor 19T
Latest b9274 Addresses MTP VRAM leak
Das Update b9274 behebt ein VRAM-Leck-Problem bei MTP-Modellen (Multi-Token Prediction), bei dem GPU-zugewiesene Ressourcen in Schlaf-/Wiederaufnahmezyklen nicht freigegeben wurden. Die Lösung besteht darin, die Ressourcen des spekulativen Decoders, des Entwurfskontexts und des Entwurfsmodells in der destroy()-Funktion explizit zurückzusetzen, um Speicherüberlauf-Fehler zu vermeiden.
47