Les grands modèles linguistiques (LLM) rencontrent une limitation appelée le 'goulot d'étranglement conceptuel', où ils perdent des faits critiques lors de raisonnements latents profonds. Cet article propose l'AGCLR pour y remédier, en augmentant CoCoNuT avec un flux de concepts à porte pour une mémoire persistante.
O conteúdo anuncia o lançamento do Muse Spark, um novo modelo de raciocínio de IA desenvolvido pela Meta. Este modelo promete avançar as capacidades de raciocínio em inteligência artificial.
Les échecs dans le raisonnement des modèles de langage émergent à travers des processus distincts qui laissent des signatures identifiables au niveau des tokens. Ces échecs sont caractérisés comme "échec engagé" ou "incertitude persistante", et la compréhension de ces signatures aide à distinguer les réalisations échouées des réussies dans diverses configurations.
Une étude de Meta, Stanford et Illinois suggère que les agents IA fonctionnent mieux lorsque le code est leur principale couche de travail, un concept nommé "agent harness". Cette approche déplace l'attention de l'IA de la simple prédiction de texte vers le raisonnement exécutable, améliorant sa capacité à gérer des tâches complexes et à minimiser les erreurs.
Cette étude propose un nouveau benchmark pour évaluer la robustesse du raisonnement des LLM face aux perturbations textuelles, en l'appliquant à l'ensemble de données AIME 2024. Les résultats indiquent que les modèles de pointe sont résilients, tandis que les modèles open-source subissent des baisses de précision catastrophiques, révélant des fragilités structurelles.
Cette recherche introduit le Raisonnement Agentique Latent Adaptatif (ALAR), un cadre à double mode conçu pour améliorer l'efficacité des agents LLM. ALAR utilise un raisonnement latent compact pour les tâches de routine et passe à un raisonnement explicite en chaîne de pensée lorsque une délibération plus approfondie est nécessaire, atteignant une précision de tâche comparable ou supérieure avec des gains d'efficacité substantiels.
Cette recherche présente un cadre de réglage fin (fine-tuning) économe en données pour enseigner aux modèles de raisonnement à effectuer un "code-switching" efficace pour les tâches de raisonnement. Elle identifie les comportements de "code-switching" bénéfiques, s'éloignant de la vision de l'erreur, grâce à une analyse systématique de traces de raisonnement diverses.
VAKRA, un nouveau benchmark d'IBM Research, révèle que les agents IA échouent de manière prévisible et structurelle en cartographiant les points de rupture entre le raisonnement, la sélection d'outils et l'exécution. Il décompose l'échec des agents en six catégories spécifiques, allant au-delà des évaluations binaires traditionnelles pour découvrir les faiblesses courantes.
AITP est introduit comme un grand modèle linguistique multimodal conçu pour l'attribution de la responsabilité des accidents de la circulation, améliorant le raisonnement via Multimodal Chain-of-Thought et intégrant les connaissances juridiques par RAG. La recherche présente également DecaTARA, un benchmark complet de style décathlon avec 67 941 vidéos annotées et 195 821 paires question-réponse.
O1-Pruner présente une méthode de réglage fin harmonisant la longueur pour l'élagage du raisonnement de type O1. Cette technique vise à optimiser les modèles pour leurs capacités de raisonnement.
Cet article soutient que la réduction des désaccords dans les systèmes multi-agents est insuffisante pour les tâches à forte valeur, proposant une couche de représentation des connaissances. Cette couche abstrait les traces de raisonnement et les décisions des agents en états de désaccord symboliques, distinguant quatre types, avec application dans la modération de contenu.
Este artigo investiga a correlação entre a dinâmica interna de entropia e o raciocínio correto em Large Language Models (LLMs), um enigma ainda sem solução. Propõe a Hipótese de Informatividade Gradual (SIA), que afirma que os modelos raciocinam corretamente ao acumular informações relevantes sobre a resposta por meio de prefixos informativos, um processo reforçado por métodos de treinamento padrão.
Cette recherche remet en question l'idée que le raisonnement assisté par des outils améliore toujours les performances des LLM, révélant une "taxe d'utilisation d'outils" due au protocole d'appel qui peut dégrader la performance. Un cadre d'intervention factorisé est proposé pour analyser cet écart, et G-STEP est introduit pour atténuer les erreurs induites par le protocole.
Malgré la prise en charge d'entrées étendues, les grands modèles linguistiques ont des performances médiocres sur les tâches de raisonnement à contexte long. ProxyCoT est un nouveau cadre d'entraînement qui transfère les capacités de raisonnement des contextes proxy courts aux contextes longs complets, surpassant les références solides.
Cette recherche explore l'utilisation d'échafaudages graphiques visuels pour organiser le raisonnement dans les grands modèles de langage (LLM), inspirée des cartes mentales humaines. Des expériences sur des tâches de questions-réponses multi-sauts révèlent que le guidage visuel par graphes améliore considérablement l'efficacité du raisonnement et la qualité des réponses par rapport aux représentations textuelles aplaties.
Este artigo propõe uma estrutura de refinamento baseada em raciocínio que utiliza LLMs como juízes semânticos para validar e reestruturar os resultados de algoritmos de agrupamento de texto não supervisionados. A estrutura inclui verificação de coerência, adjudicação de redundância e fundamentação de rótulos, visando melhorar a qualidade dos clusters sem dados rotulados.
Cette recherche propose que le raisonnement des LLM est un état de décodage dynamique, et non une propriété statique, observable à travers la dynamique d'entropie aux premiers stades de la génération. Les tâches bénéficiant du Chain-of-Thought présentent une réduction d'entropie constante, interprétée comme une transition de phase vers un régime de raisonnement structuré.
O título refere-se à pesquisa sobre raciocínio neuro-simbólico composicional, uma área avançada da inteligência artificial. Este campo explora a integração de redes neurais com sistemas simbólicos para permitir raciocínio mais robusto e estruturado.
Cet article examine comment la prédiction multi-jetons (MTP) permet aux Transformers d'apprendre à planifier, surpassant la prédiction du jeton suivant (NTP). Empiriquement, la MTP améliore les performances sur les tâches de raisonnement, et théoriquement, elle induit un processus de raisonnement inverse en deux étapes via le découplage des gradients.
Ce contenu explore les méthodologies et les défis impliqués dans le développement d'agents d'IA capables d'un raisonnement robuste dans le monde réel. Il examine les techniques nécessaires pour permettre aux agents d'interagir efficacement avec des environnements complexes et dynamiques.
