DOC↑ trending47
Latest b9274 Addresses MTP VRAM leak
Reddit r/LocalLLaMA·21. Mai 2026
Das Update b9274 behebt ein VRAM-Leck-Problem bei MTP-Modellen (Multi-Token Prediction), bei dem GPU-zugewiesene Ressourcen in Schlaf-/Wiederaufnahmezyklen nicht freigegeben wurden. Die Lösung besteht darin, die Ressourcen des spekulativen Decoders, des Entwurfskontexts und des Entwurfsmodells in der destroy()-Funktion explizit zurückzusetzen, um Speicherüberlauf-Fehler zu vermeiden.
Original lesen ↗