heapsort
NEWS↑ trending42

Llama.cpp MTP support now in beta!

Reddit r/LocalLLaMA·4 de mayo de 2026
Llama.cpp MTP support now in beta!

El soporte MTP para llama.cpp ya está en fase beta, con soporte inicial para Qwen3.5 MTP y potencial de fusión en breve. Se espera que esta mejora, junto con el soporte tensor-parallel, elimine las brechas de rendimiento entre llama.cpp y vLLM, especialmente en la velocidad de generación de tokens.

Leer original