heapsort
DOC↑ trending47

Latest b9274 Addresses MTP VRAM leak

Reddit r/LocalLLaMA·21 de maio de 2026

A atualização b9274 aborda um problema de vazamento de VRAM em modelos MTP (Multi-Token Prediction), onde os recursos da GPU não eram liberados nos ciclos de suspensão/retomada. A correção envolve a redefinição explícita dos recursos do decodificador especulativo, contexto de rascunho e modelo de rascunho na função destroy() para evitar erros de falta de memória.

Ler original