MCBench est un nouveau benchmark pour évaluer la sécurité des LLM Omni traitant des entrées visuelles, audio et textuelles, révélant des défis importants dans l'intégration des modalités pour des jugements de sécurité précis. Il souligne que les LLM Omni actuels manquent de raisonnement intermodal robuste dans des contextes critiques de sécurité.
Cet article propose un nouveau cadre et un benchmark pour simuler le comportement de groupes organisés, comme la prise de décision des entreprises. Il formalise la tâche de "Simulation du Comportement de Groupe Organisé" et présente GROVE, un benchmark avec 8 052 paires contexte-décision réelles pour prédire les actions collectives.
LABBench2 est présenté comme un benchmark amélioré pour évaluer les systèmes d'IA effectuant de la recherche en biologie, évoluant du LAB-Bench original. Il vise à mesurer les capacités du monde réel dans des tâches scientifiques utiles, allant au-delà des connaissances et du raisonnement de base, et comprend près de 1 900 tâches.
Le modèle dense Qwen3.6-27B a surpassé le modèle MoE Qwen3.6-35B-A3B sur SWE-bench, obtenant 77.2% contre 73.4%. Cela suggère que les modèles denses pourraient s'avérer plus efficaces pour les tâches d'ingénierie logicielle réelles.
L'article explore l'accessibilité et la rentabilité des modèles d'IA open source via API, détaillant leurs structures tarifaires et leurs métriques de performance. Il vise à fournir une analyse comparative pour aider les développeurs à choisir la solution d'IA la plus adaptée à leurs besoins.
Cette recherche explore des méthodes efficaces pour évaluer les grands modèles audio (LAMs) en utilisant des sous-ensembles de données minimaux, atteignant une corrélation élevée avec les benchmarks complets. Elle montre également que les modèles de régression entraînés sur ces sous-ensembles peuvent mieux prédire les préférences humaines pour la satisfaction des utilisateurs que les benchmarks complets.
Cet article présente CHI-Bench, un nouveau benchmark conçu pour tester la capacité des agents d'IA à automatiser des flux de travail complexes, riches en politiques et à long terme dans le domaine de la santé. Il comble des lacunes critiques des benchmarks actuels en se concentrant sur la densité des politiques, la composition multi-rôles et l'interaction multilatérale dans des opérations de santé réalistes.
Une inspection systématique des divisions de validation de extsf{FOLIO} et extsf{MALLS} a révélé des taux élevés de formalisations FOL incorrectes et de phrases NL ambiguës, faussant l'évaluation des modèles d'IA. Les auteurs ont développé et publié des vérités fondamentales corrigées pour ces ensembles de données, démontrant l'impact des erreurs d'annotation sur l'évaluation des LLM de pointe.
Anthropic a lancé Claude Opus 4.7, présentant des améliorations significatives des performances, notamment en codage (87,6% SWE-bench) et en vision (98,5% d'acuité visuelle). La mise à jour comprend des modifications agressives de l'API et une augmentation des coûts cachée malgré des prix prétendument inchangés.
O artigo analisa os preços das APIs de LLMs em 2026, revelando uma variação de até 100x entre os modelos e compilando uma tabela de referência detalhada. Ele compara custos de entrada, saída, cache e performance (SWE-bench) para modelos como DeepSeek V4, GPT-5.4, Claude, Gemini, Mistral e Groq, destacando opções econômicas e outliers.
Cet article présente un cadre neuro-symbolique pour traduire les problèmes de raisonnement en langage naturel en Narsese exécutable, en utilisant la logique du premier ordre. Il introduit NARS-Reasoning-v0.1, un nouveau benchmark proposant des problèmes de raisonnement avec leurs représentations formelles et des étiquettes de vérité pour évaluer les capacités de raisonnement.
Cet article présente BenchJack, un système automatisé pour auditer les benchmarks d'agents IA, visant à identifier les exploits de "reward hacking" où les agents maximisent les scores sans effectuer la tâche. Il établit une taxonomie des modèles de défauts récurrents et utilise un pipeline génératif-adversaire pour améliorer la robustesse des benchmarks.
IdiomX est un benchmark multilingue à grande échelle introduit pour relever les défis des expressions idiomatiques en traitement du langage naturel. Il contient plus de 190 000 exemples contextualisés couvrant plus de 12 000 idiomes avec des représentations sémantiques alignées en anglais, arabe et français.
La version Opus 4.8 d'Anthropic introduit les Dynamic Workflows, un nouveau modèle de programmation permettant des centaines de sous-agents parallèles par session, essentiel pour le déploiement d'agents en production. L'article met en garde les utilisateurs pour qu'ils fixent leurs configurations dans la version d'aperçu afin d'éviter des coûts inattendus.
Cet article analyse le GPT-5.5 récemment lancé, le comparant aux modèles Claude sur des benchmarks spécifiques pour différents types de tâches. Il révèle que, si le GPT-5.5 excelle dans les tâches d'exécution, les modèles Claude sont préférés pour la recherche (en raison de taux d'hallucination plus faibles), le débogage et l'orchestration.
Le contenu met en évidence l'écart significatif entre les scores élevés des agents d'IA sur les benchmarks et leurs faibles performances en production, soulignant que les benchmarks actuels testent des capacités étroites et ignorent des défis cruciaux du monde réel. Cette divergence est identifiée comme le défi majeur pour l'évaluation des agents d'IA en 2026.
François Chollet discute l'avenir de l'AGI, prévoyant son arrivée vers 2030, et présente la mission du laboratoire NDI de développer un nouveau paradigme d'apprentissage automatique "optimal" basé sur la synthèse de programmes symboliques. Il critique les limitations de l'apprentissage profond et décrit la stratégie à haut risque et haute récompense de NDI pour l'avancement fondamental de l'IA.
Un nouveau benchmark de Glean dans Claude Cowork indique que les serveurs MCP prêts à l'emploi échouent 2,5 fois plus souvent et consomment 30 % de jetons en plus que la couche de contexte indexée de Glean. Les utilisateurs ont également signalé avoir réduit leurs factures de jetons Claude de 30 % grâce à l'approche de Glean.
Les agents d'IA qui adaptent leurs configurations de récupération en cours d'exécution obtiennent une amélioration de 25,7% des performances sur les benchmarks établis, remettant en question l'hypothèse que les piles de récupération doivent être figées. Ce nouveau paradigme permet à un module de "diagnostic" piloté par LLM de réécrire sa stratégie de recherche à mesure que de nouvelles requêtes arrivent, traitant l'ensemble du pipeline d'accès à la mémoire comme une politique mutable.
BrowseComp est un nouveau benchmark exigeant conçu pour évaluer les agents de navigation. Il se concentre sur des tâches complexes nécessitant une compréhension contextuelle et une interaction avec les interfaces web, offrant une nouvelle métrique pour la performance de l'IA.