Anthropic a lancé Claude Opus 4.8, introduisant des flux de travail dynamiques permettant des centaines de sous-agents parallèles pour des tâches complexes. Cette version présente des améliorations significatives dans les benchmarks comme SWE-bench Verified et USAMO, avec des prix standard inchangés et un nouveau mode rapide plus abordable.
Les journaux des agents IA révèlent d'importantes lacunes en matière de reproductibilité, où les agents autonomes peuvent passer du succès à l'échec de manière significative, surtout dans les tâches de navigation web. Des recherches, y compris le corpus SWE-chat, montrent que moins de la moitié du code produit par les agents est intégré dans les commits des utilisateurs, soulignant un écart critique entre les scores de référence et la fiabilité réelle.
CL-bench Life est un nouveau benchmark humain conçu pour évaluer si les modèles de langage de pointe peuvent apprendre efficacement des contextes complexes et désordonnés de la vie réelle. Il comprend 405 paires contexte-tâche pour tester la capacité des modèles à raisonner sur des expériences personnelles et sociales.
Cet article propose Math Takes Two, un nouveau benchmark pour évaluer l'émergence du raisonnement mathématique chez les modèles linguistiques par la communication. Il teste la capacité de deux agents, sans connaissances mathématiques préalables, à développer un protocole symbolique partagé pour résoudre une tâche visuelle facilitant l'extrapolation numérique.
WorkRB est le premier benchmark open-source et communautaire pour l'IA dans le domaine du travail, répondant à la fragmentation de la recherche et à la sensibilité des données d'emploi. Il organise 13 tâches diverses de 7 groupes en tâches unifiées de recommandation et de PNL, telles que la recommandation d'emplois/compétences et l'extraction de compétences.
ARMOR 2025 est un nouveau benchmark aligné sur l'armée pour évaluer la sécurité des grands modèles de langage (LLMs) dans les contextes de défense. Il comble une lacune en se basant sur les doctrines militaires telles que le Droit de la Guerre et les Règles d'Engagement.
AttuneBench est un nouveau benchmark basé sur 200 conversations réelles multi-tours entre humains et modèles pour évaluer l'intelligence émotionnelle des LLM. Il mesure la capacité des modèles à inférer et répondre aux états émotionnels au cours de conversations réelles, révélant que les classements des modèles en reconnaissance émotionnelle et autres métriques sont largement indépendants.
MultiSoc-4D est un nouveau benchmark de données de médias sociaux bengalis pour diagnostiquer le comportement des LLM dans l'annotation en ensemble fermé. La recherche révèle un phénomène de "collapse d'étiquettes induit par l'instruction", où les LLM préfèrent systématiquement les étiquettes de repli, sous-détectant les catégories minoritaires.
L'article présente SMDD-Bench, un nouveau benchmark multi-tours avec 502 tâches résolvables pour évaluer la performance des agents LLM dans la conception de médicaments à petites molécules. Il vise à standardiser l'évaluation à travers diverses chimies et cibles, nécessitant une forte intuition chimique, biologique et 3D.
Cette étude présente un atlas de la surveillance métacognitive au niveau du domaine chez 33 LLM de pointe, analysant 1 500 éléments MMLU dans six domaines. Elle révèle une variation significative au sein du modèle, les connaissances appliquées/professionnelles étant le domaine le plus facile et le raisonnement formel/sciences naturelles les plus difficiles à surveiller.
IdiomX est un benchmark multilingue à grande échelle introduit pour relever les défis des expressions idiomatiques en traitement du langage naturel. Il contient plus de 190 000 exemples contextualisés couvrant plus de 12 000 idiomes avec des représentations sémantiques alignées en anglais, arabe et français.
Cet article propose BODHI, une méthode d'invite de connaissance de domaine pour l'inférence de spécifications de noyau de système d'exploitation, visant à surmonter les limitations actuelles des LLM. Elle augmente l'invite standard en quelques coups avec un guide de traduction structuré C vers Python, améliorant l'automatisation et la précision des spécifications.
Cette recherche introduit CanLegalRAGBench, un nouveau benchmark canadien pour l'évaluation des systèmes de Génération Augmentée par Récupération (RAG) sur des questions juridiques, avec des requêtes réalistes et des réponses annotées par des experts. L'étude révèle la sensibilité de la performance de récupération, la compétitivité des modèles d'embedding open-source et les limites des évaluations automatiques et des hallucinations des LLM.
Les benchmarks actuels pour l'Acquisition de Contraintes (CA) et les modèles de Programmation Mathématique (MP) sont inadéquats, entravant la reproductibilité et la comparabilité de la recherche. Ce travail introduit MPMMine, une nouvelle suite de benchmarks conçue pour valider et améliorer les modèles MP en utilisant divers artefacts de connaissance du domaine, favorisant la cohérence et l'ouverture.
Ce contenu compare GPT-5.5 et Claude Opus 4.7, deux modèles d'IA leaders, en discutant de leurs avancées et de leurs spécificités. Il vise à guider le choix pour les projets d'IA en détaillant leurs différences de prix, de vitesse et de performances.
SpatialBench est un nouveau benchmark de ropedia_ai qui évalue les modèles de fondation spatiaux sur 7 tâches et 5 ensembles de données. Il teste la véritable compréhension spatiale 3D dans l'estimation de profondeur, la prédiction normale de surface et la détection d'objets 3D.
Les benchmarks du CPU NVIDIA Vera par Phoronix révèlent une performance 1,55 fois plus rapide que l'Intel Xeon 6980P et 10% supérieure à l'AMD EPYC 9575F. Ce processeur ARM de 88 cœurs, doté d'une bande passante mémoire de 1,2 To/s, est optimisé pour les charges de travail d'IA agentiques.
Des chercheurs ont introduit KWBench, un benchmark de 223 tâches pour mesurer la capacité des LLM à reconnaître les problèmes fondamentaux dans des scénarios professionnels sans être guidés. Le meilleur modèle n'a réussi que 27,9% des tâches, soulignant une lacune critique entre l'exécution des tâches et la compréhension situationnelle.
CresOWLve é um novo benchmark para avaliar a resolução criativa de problemas em LLMs, superando as limitações dos benchmarks existentes. Ele utiliza quebra-cabeças baseados em conhecimento do mundo real, exigindo diversas estratégias de pensamento criativo e combinação de fatos para encontrar soluções.
Magis-Bench est un nouveau benchmark pour évaluer les grands modèles linguistiques (LLM) sur des tâches juridiques de niveau magistrat, utilisant 74 questions issues de récents examens compétitifs judiciaires brésiliens. Il évalue 23 LLM de pointe en utilisant une méthodologie "LLM-en-tant que juge" avec un fort accord inter-juges.