heapsort
NEWS↑ trending42

Llama.cpp MTP support now in beta!

Reddit r/LocalLLaMA·4 mai 2026
Llama.cpp MTP support now in beta!

Le support MTP de llama.cpp est maintenant en version bêta, avec un support initial pour Qwen3.5 MTP et une fusion potentielle prochaine. Cette amélioration, ainsi que le support tensor-parallel en maturation, devrait combler les écarts de performance entre llama.cpp et vLLM, notamment en termes de vitesse de génération de jetons.

Lire l'original