Esta semana, Claude Opus 4.7 de Anthropic recuperó el primer puesto en benchmarks de codificación, mientras OpenAI expandió las capacidades de automatización de escritorio de Codex. Un análisis de Reuters también reveló una brecha de infraestructura de IA de $7 billones.
Anthropic lanzó Claude Opus 4.8, que introduce flujos de trabajo dinámicos que permiten cientos de subagentes paralelos para tareas complejas. Esta versión muestra mejoras significativas en los benchmarks como SWE-bench Verified y USAMO, con precios estándar sin cambios y un nuevo modo rápido más asequible.
Los registros de agentes de IA exponen brechas significativas de reproducibilidad, donde los agentes autónomos pueden pasar del éxito al fracaso con un margen notable, especialmente en tareas de navegación web. Investigaciones como el corpus SWE-chat revelan que menos de la mitad del código producido por agentes sobrevive en los commits de los usuarios, destacando una brecha entre las puntuaciones teóricas y la fiabilidad práctica.
CL-bench Life es un nuevo benchmark curado por humanos, diseñado para evaluar si los modelos de lenguaje de vanguardia pueden aprender eficazmente de contextos complejos y desordenados de la vida real. Consta de 405 pares de contexto-tarea para probar la capacidad de los modelos para razonar sobre experiencias personales y sociales.
Este artículo propone Math Takes Two, un nuevo benchmark diseñado para evaluar el razonamiento matemático emergente en modelos de lenguaje a través de la comunicación. Prueba si dos agentes, sin conocimiento matemático previo, pueden desarrollar un protocolo simbólico compartido para resolver una tarea visualmente fundamentada que facilita la extrapolación numérica.
WorkRB es el primer benchmark de código abierto y dirigido por la comunidad para la IA en el dominio laboral, abordando la fragmentación de la investigación y la sensibilidad de los datos de empleo. Organiza 13 tareas diversas de 7 grupos como tareas unificadas de recomendación y PNL, incluyendo recomendación de empleo/habilidades y extracción de habilidades.
ARMOR 2025 es un nuevo benchmark alineado militarmente para evaluar la seguridad de los grandes modelos de lenguaje (LLMs) en aplicaciones de defensa. Se enfoca en doctrinas militares como el Derecho de la Guerra y las Reglas de Enfrentamiento para asegurar el cumplimiento legal y ético.
AttuneBench es un nuevo benchmark basado en 200 conversaciones genuinas multi-turno entre humanos y modelos para evaluar la inteligencia emocional de los LLM. Mide la capacidad de los modelos para inferir y responder a estados emocionales en conversaciones reales, mostrando que las clasificaciones de los modelos en reconocimiento de emociones y otras métricas son en gran medida independientes.
MultiSoc-4D es un nuevo benchmark de datos de redes sociales bengalíes para diagnosticar el comportamiento de los LLM en la anotación de conjuntos cerrados. La investigación revela un fenómeno de "colapso de etiquetas inducido por instrucciones", donde los LLM prefieren sistemáticamente etiquetas de respaldo, subdetectando categorías minoritarias.
El artículo presenta SMDD-Bench, un nuevo benchmark multi-turno con 502 tareas resolubles para evaluar el rendimiento de agentes LLM en el diseño de fármacos de moléculas pequeñas. Busca estandarizar la evaluación en diversas químicas y objetivos, requiriendo una sólida intuición química, biológica y 3D.
Este estudio presenta un atlas del monitoreo metacognitivo a nivel de dominio en 33 LLM de frontera, analizando 1.500 ítems MMLU en seis dominios. Revela una variación significativa dentro del modelo, siendo el conocimiento Aplicado/Profesional el dominio más fácil y el Razonamiento Formal/Ciencia Natural los más difíciles de monitorear.
Este artículo propone BODHI, un método de "prompting" de conocimiento de dominio para la inferencia de especificaciones del kernel del sistema operativo, con el objetivo de superar las limitaciones actuales de los LLM. Aumenta el "prompt" estándar de pocas muestras con una guía estructurada de traducción de C a Python, mejorando la automatización y la precisión de las especificaciones.
Este estudio presenta CanLegalRAGBench, un nuevo benchmark canadiense para evaluar sistemas de Generación Aumentada por Recuperación (RAG) en derecho, utilizando consultas realistas y respuestas anotadas por expertos. La investigación revela la sensibilidad del rendimiento de recuperación, la competitividad de los modelos de incrustación de código abierto y las limitaciones de las evaluaciones automáticas y las alucinaciones de los LLM.
Los benchmarks actuales para la Adquisición de Restricciones (CA) y modelos de Programación Matemática (MP) son insuficientes, lo que dificulta la reproducibilidad y comparabilidad de la investigación. Este trabajo presenta MPMMine, una nueva suite de benchmarks diseñada para validar y mejorar modelos MP utilizando diversos artefactos de conocimiento de dominio, promoviendo la consistencia y la apertura.
El contenido compara GPT-5.5 y Claude Opus 4.7, dos modelos líderes de IA, destacando sus mejoras y enfoques. Busca ayudar a elegir el mejor modelo para proyectos de IA basándose en datos de precios, velocidad y benchmarks.
SpatialBench es un nuevo benchmark de ropedia_ai que evalúa modelos fundamentales espaciales en 7 tareas y 5 conjuntos de datos. Prueba la verdadera comprensión espacial 3D en estimación de profundidad, predicción normal de superficie y detección de objetos 3D.
Los benchmarks de la CPU NVIDIA Vera de Phoronix muestran un rendimiento 1,55 veces más rápido que el Intel Xeon 6980P y un 10% superior al AMD EPYC 9575F. Este procesador ARM de 88 núcleos, con un ancho de banda de memoria de 1,2 TB/s, está optimizado para cargas de trabajo de IA agenticas.
Investigadores presentaron KWBench, un benchmark de 223 tareas para evaluar si los LLM pueden reconocer problemas en escenarios profesionales sin indicaciones explícitas. El mejor modelo solo aprobó el 27,9% de las tareas, destacando una brecha crítica entre la ejecución de tareas y la comprensión situacional.
CresOWLve é um novo benchmark para avaliar a resolução criativa de problemas em LLMs, superando as limitações dos benchmarks existentes. Ele utiliza quebra-cabeças baseados em conhecimento do mundo real, exigindo diversas estratégias de pensamento criativo e combinação de fatos para encontrar soluções.
Magis-Bench es un nuevo benchmark para evaluar Modelos de Lenguaje Grandes (LLM) en tareas legales de nivel magistral, utilizando 74 preguntas de recientes exámenes competitivos judiciales brasileños. Evalúa 23 LLM de vanguardia utilizando una metodología "LLM-como-juez" con una fuerte concordancia entre los jueces.