Empleados de Google están compartiendo memes internamente que se burlan de la mala calidad de la inteligencia artificial de la compañía. Esto refleja un sentimiento de frustración y escepticismo hacia los productos de IA desarrollados internamente.
El contenido describe un experimento que demuestra ganancias significativas de velocidad (hasta 68.35 tokens/s) utilizando decodificación especulativa con el modelo Qwen-3.6-27B a través de llamacpp. El autor muestra la capacidad de la IA para generar y depurar código de manera eficiente.
Este artículo detalla una nueva estrategia de caché de expertos dinámicos en llama.cpp para acelerar la generación de tokens en grandes modelos MoE como Qwen3.5-122B-A10B. El enfoque carga los expertos más utilizados en la VRAM, lo que resulta en una generación de tokens hasta un 26,8% más rápida en comparación con la descarga parcial basada en capas.
Las pruebas de decodificación especulativa utilizando Gemma 4 E2B como borrador para Gemma 4 31B mostraron una notable mejora en el rendimiento. La velocidad promedio aumentó un 29%, llegando al 50% en la generación de código, con configuraciones específicas de hardware y software.
El autor logró 110 tok/s con 12GB de VRAM usando ik_llama.cpp en el modelo Qwen3.6 35B A3B, notando un gran aumento de velocidad. Este rendimiento superó al de llama.cpp regular después de la fusión de su PR MTP.
Un usuario informa que Qwen 3.6 muestra un salto de rendimiento significativo, demostrando ser capaz para cargas de trabajo típicamente manejadas por Opus y Codex, aunque no a su mismo nivel. El usuario resalta su utilidad y velocidad cuando se configura correctamente con `preserve_thinking` en un M5 Max con ajustes específicos.
El nuevo soporte DFlash en oMLX 0.3.5 RC1 ha duplicado la velocidad de generación del modelo Qwen3.5 27B (BF16) en un Mac M5 Max, de 9 a 22 T/S. Esta mejora es fundamental para la implementación local de este modelo de alta calidad con pesos completos o cuantizaciones más altas.
Un usuario intenta realizar tareas de codificación con Qwen3.6-35B en un Macbook Pro M2 de 32GB, enfrentando problemas de agotamiento de memoria y gestión de la ventana de contexto. Aunque el modelo identifica la esencia de un error, no logra implementar la solución debido a la pérdida de información crucial durante la compactación del contexto.
El autor comparte su experiencia utilizando varios modelos de IA (GPT OOS 120B, Qwen 3 Max, Chat GPT 4o) para traducir una novela china, enfrentando desafíos con la consistencia de los nombres y la censura. Chat GPT 4o fue inicialmente el mejor en precisión y calidad de traducción, aunque otros modelos mostraron degradación o filtrado con el tiempo.
Este contenido describe los requisitos para un artículo técnico sobre el análisis del rendimiento y la fijación de precios de modelos de IA, centrándose en métricas como TTFT y tokens/segundo. Especifica la inclusión de datos exactos de precios y modelos, regiones de prueba y ejemplos de código para una API global, dirigido a una audiencia de ingenieros de backend.
Los modelos de lenguaje grandes a menudo tienen una ventana de contexto práctica mucho menor que su límite nominal publicitado debido a la sobrecarga y la degradación de la atención. Esta discrepancia afecta el diseño de los prompts y provoca caídas de calidad y truncamiento mucho antes de alcanzar el límite de tokens.
Los modelos de lenguaje de difusión están logrando ganancias significativas de rendimiento y reduciendo la brecha con los decodificadores autorregresivos en la velocidad de inferencia. Los nuevos Modelos de Lenguaje de Difusión Introspectivos (I-DLM) abordan problemas previos de consistencia introspectiva y bucles de muestreo ineficientes, mejorando tanto la calidad como la latencia.
Esta investigación desafía la suposición de que el razonamiento con herramientas siempre mejora el rendimiento de los LLMs, demostrando que puede ser superado por CoT nativo debido a un "impuesto por uso de herramientas", especialmente con distractores semánticos. Se propone un marco de intervención factorizado para analizar esto y se introduce G-STEP como mitigación parcial para errores inducidos por el protocolo.
El Gemini 3.5 Flash de Google desafía la suposición de que los modelos de IA más inteligentes deben ser más lentos, potenciando Antigravity 2.0 para agentes de IA. Supera significativamente a los modelos de la competencia en pruebas de rendimiento reales, demostrando una velocidad superior.
A medida que aumenta la adopción de la IA empresarial, el monitoreo continuo del rendimiento del sistema es crucial. Una "Lista de Verificación de Auditoría de IA Empresarial" y la puntuación de calidad en tiempo real son esenciales para garantizar la precisión y prevenir la degradación del modelo después de la implementación.
Este artículo explora Claude Opus 4.8, cuestionando si sus capacidades han mejorado para evitar proporcionar información engañosa. Analiza el rendimiento del modelo en términos de fiabilidad y precisión.
Estudios independientes recientes desmienten el mito de que los agentes de IA reemplazarán empleos pronto, revelando que incluso los mejores agentes completan solo alrededor del 30% de las tareas de oficina de forma autónoma. Investigaciones de Carnegie Mellon, Huawei y Salesforce indican altas tasas de fallas, a menudo involucrando la fabricación de datos o la incapacidad de manejar tareas complejas y de múltiples pasos de manera segura y efectiva.
Un nuevo estudio presenta los Micro Language Models (μLMs), modelos ultracompactos (8M–30M parámetros) que ofrecen la calidad de modelos grandes en dispositivos. Este enfoque resuelve el dilema entre respuestas rápidas y completas en asistentes de borde, al iniciar las respuestas localmente y reducir la latencia de los modelos en la nube.
Deep FinResearch Bench es un nuevo marco de evaluación para agentes de investigación profunda (DR) en investigación de inversiones financieras. Descubre que los informes generados por IA aún son inferiores a los de los profesionales, subrayando la necesidad de una IA especializada.
El artículo describe la familia de modelos de lenguaje grandes MiniMax M2, que utiliza una arquitectura Mixture of Experts para un alto rendimiento y bajo costo de inferencia. El modelo M2.7 logra el 90% de la calidad de los modelos frontera con el 7% del costo, con resultados de referencia comparables a Claude Sonnet 4.