heapsort
NEWS↑ trending42

Llama.cpp MTP support now in beta!

Reddit r/LocalLLaMA·4 de maio de 2026
Llama.cpp MTP support now in beta!

O suporte MTP para llama.cpp está agora em fase beta, com suporte inicial para Qwen3.5 MTP e potencial para fusão em breve. Espera-se que esta melhoria, juntamente com o suporte tensor-parallel, elimine as lacunas de desempenho entre llama.cpp e vLLM, especialmente na velocidade de geração de tokens.

Ler original