Este contenido detalla una configuración para ejecutar el modelo Qwen3.6-35B-A3B localmente en un MacBook Pro M2 Max. Describe la integración con el agente de codificación `pi` a través de `llama.cpp` y `llama-server`, incluyendo parámetros de configuración y la configuración de la línea de comandos.
La tarjeta Intel Arc Pro B70 32GB alcanzó ~12 tps para consultas únicas y 135 tps con 32 concurrencias en Qwen3.5-27B@Q4, siendo un 20% menos que la RTX PRO 4500. Adicionalmente, consumió un 50% más de energía en alta concurrencia, con el paralelismo de tensor degradando y el de pipeline mejorando el rendimiento.
Este contenido detalla la implementación de la Predicción Multitoken (MTP) con GGUF cuantificados para Qwen3-27B, utilizando cuantificaciones UD XL de Unsloth con capas MTP injertadas en Q8_0, lo que resulta en un aumento de rendimiento de 2,5x. El autor comparte archivos GGUF injertados, la fuente de la capa MTP y un script de conversión, junto con instrucciones de construcción para una versión personalizada de llama.cpp que incorpora soporte de decodificación especulativa de una PR no fusionada.
Este contenido detalla cómo lograr una inferencia 2.5 veces más rápida con Qwen 3.6 27B usando el soporte MTP en llama.cpp, alcanzando 28 tok/s en un M2 Max. Proporciona archivos GGUF convertidos para descargar, adecuados para codificación agéntica local con 262k de contexto en 48GB.
Un usuario investiga por qué los métodos de decodificación especulativa como MTP y N-gram no pueden combinarse simultáneamente en llama.cpp, señalando que N-gram ofrece mejoras significativas para la codificación. Busca entender si es una limitación fundamental o de implementación, descubriendo que otros ya han planteado la misma pregunta.
Este artículo detalla una nueva estrategia de caché de expertos dinámicos en llama.cpp para acelerar la generación de tokens en grandes modelos MoE como Qwen3.5-122B-A10B. El enfoque carga los expertos más utilizados en la VRAM, lo que resulta en una generación de tokens hasta un 26,8% más rápida en comparación con la descarga parcial basada en capas.
El contenido anuncia la adición de soporte para el modelo MiMo v2.5 en llama.cpp y describe su arquitectura. MiMo v2.5 es un modelo Sparse MoE con 310B de parámetros totales y 15B activados, que soporta modalidades de texto, imagen, video y audio con una impresionante longitud de contexto.
A integração de correções no Llama.cpp resolveu problemas conhecidos do Gemma 4, tornando-o estável para uso. O conteúdo oferece dicas de execução, como uso de `--chat-template-file` e otimização de cache, além de alertar contra o uso do CUDA 13.2.
Las pruebas de decodificación especulativa utilizando Gemma 4 E2B como borrador para Gemma 4 31B mostraron una notable mejora en el rendimiento. La velocidad promedio aumentó un 29%, llegando al 50% en la generación de código, con configuraciones específicas de hardware y software.
El contenido detalla cómo optimizar Qwen3.6-35B-A3B en hardware de consumo (RTX 5070 Ti, Ryzen 9800X3D), logrando 79 t/s con contexto de 128K. El hallazgo clave es el uso correcto de la bandera `--n-cpu-moe N` en llama.cpp, que supera significativamente a la común `--cpu-moe` al usar más VRAM de la GPU para los expertos MoE.
La funcionalidad de "speculative checkpointing" se ha fusionado en llama.cpp, ofreciendo posibles mejoras de velocidad. Aunque algunos prompts, como para codificación con parámetros optimizados, pueden ver un aumento de velocidad del 0% al 50%, otros podrían no beneficiarse debido a una baja aceptación del borrador.
Este contenido aborda un desafío en llama.cpp sobre la cuantificación asimétrica del caché KV q8/q4, que puede llevar al procesamiento en CPU con CUDA. Una discusión en GitHub sugiere que compilar con una combinación específica de cuantificación de caché KV, incluso sin FA_ALL_QUANTS, ofrece un ahorro sustancial de memoria con solo una pérdida de precisión del 1,3%.
El soporte MTP para llama.cpp ya está en fase beta, con soporte inicial para Qwen3.5 MTP y potencial de fusión en breve. Se espera que esta mejora, junto con el soporte tensor-parallel, elimine las brechas de rendimiento entre llama.cpp y vLLM, especialmente en la velocidad de generación de tokens.
El contenido detalla cómo lograr un rendimiento más rápido con el modelo Qwen 3.6 27B usando llama.cpp en una GPU 3090. Incluye pasos para aplicar un commit específico y comandos de configuración de `llama-server` para alcanzar 50 t/s con 100k de contexto.
El autor comparte una optimización exitosa para ejecutar el modelo Qwen3.5-35B-A3B-UD-Q4_K_L en una RTX 4060 Ti 16GB utilizando llama.cpp, logrando 40-60 tokens/s con 64k de contexto. La publicación detalla la configuración `models.ini` y el comando de inicio del servidor para replicar este rendimiento.
El autor logró 110 tok/s con 12GB de VRAM usando ik_llama.cpp en el modelo Qwen3.6 35B A3B, notando un gran aumento de velocidad. Este rendimiento superó al de llama.cpp regular después de la fusión de su PR MTP.
Este artículo investiga por qué las herramientas de código abierto no tratan a `llama.cpp` como una solución de primera clase. Analiza su integración y reconocimiento en el ecosistema de software de código abierto.
Este contenido describe la creación de imágenes Docker para `llama.cpp` con el fin de simplificar la ejecución de modelos MTP, tras numerosas mejoras y correcciones de errores. También señala que Unsloth ha lanzado nuevos modelos MTP para Qwen 3.6, lo que hace que las versiones anteriores queden obsoletas.
A solicitação de pull request de JohannesGaessler sobre paralelismo de tensor agnóstico de backend para o projeto ggml-org/llama.cpp foi aprovada por Greganov. Este é um desenvolvimento importante para a eficiência e escalabilidade da inferência de modelos de IA.
Llama.cpp (llama-server) ahora soporta procesamiento de audio con la funcionalidad Speech-to-Text (STT), integrando los modelos Gemma-4 E2A y E4A. Esta es una actualización significativa para la plataforma de inferencia de modelos de lenguaje.
