Cet article présente "Quantum Frog", un jeu coopératif à deux joueurs basé sur une mécanique de temps quantifié, inspiré de Frogger. Il utilise l'apprentissage par renforcement pour analyser l'évolution de la difficulté du jeu, les politiques optimales et les stratégies de coopération émergentes.
Cet article propose un cadre sensible à l'incertitude pour l'apprentissage par renforcement dans la conduite autonome, utilisant les conseils d'experts pour guider l'exploration en toute sécurité tout en évitant la dépendance à long terme. Il utilise des seuils adaptatifs pour le déclenchement des conseils et une stratégie de 'commitment-cooldown' pour réguler le guidage, démontrant des performances améliorées dans les simulations CARLA.
NeuroNL2LTL est une architecture neurosymbolique unifiant la traduction apprise et la vérification formelle pour traduire le langage naturel en Logique Temporelle Linéaire. Elle utilise un entraînement avec vérificateur dans la boucle, où les résultats de vérification servent de signaux de récompense pour l'apprentissage par renforcement, optimisant la correction formelle.
L'article traite de l'amélioration de la capacité de recherche des grands modèles linguistiques (LLM) par l'application de l'apprentissage par renforcement. Il propose une méthode pour inciter au comportement de recherche dans les LLM.
Ce contenu explore le domaine de l'apprentissage profond par renforcement multi-objectif. Il aborde probablement les techniques permettant d'entraîner des agents d'IA à optimiser simultanément plusieurs critères de performance.
Cet article examine la communication basée sur les GNNs dans l'apprentissage par renforcement multi-agents (MARL), constatant un manque de structure explicite. Il propose un processus de communication généralisé basé sur les GNNs pour rendre les concepts sous-jacents plus évidents et accessibles.
Cet article étudie l'impact des erreurs de vérification systématiques sur l'apprentissage par renforcement avec récompenses vérifiables (RLVR), une approche visant à améliorer les capacités de raisonnement des grands modèles de langage. Contrairement aux analyses précédentes qui traitaient les erreurs comme aléatoires, cette étude montre que des erreurs systématiques peuvent amener les modèles à apprendre des comportements indésirables. Des expériences sur des tâches arithmétiques révèlent que les faux négatifs systématiques ont des effets similaires au bruit aléatoire, tandis que les faux positifs systématiques peuvent avoir des impacts plus graves.
Cette étude propose une vue agnostique de l'optimiseur des stratégies de déploiement (rollout) pour le post-entraînement des LLM de raisonnement basés sur le RL. Elle formalise les pipelines de déploiement avec une notation unifiée et introduit la taxonomie du cycle de vie Generate-Filter-Control-Replay (GFCR), décomposant les pipelines en quatre étapes modulaires.
AIPO est un nouveau cadre d'apprentissage par renforcement qui améliore le raisonnement des LLM grâce à une interaction multi-agents active lors de l'exploration. Il s'attaque aux limites des algorithmes de RL existants, qui sont contraints par les capacités intrinsèques du modèle de politique et s'appuient sur un guidage inefficace.
Le DAS (décodage spéculatif conscient de la distribution) résout le goulot d'étranglement du déploiement en post-entraînement RL. Il accélère les déploiements jusqu'à 50 % sans dégradation de la qualité de la récompense.
O artigo apresenta PRISM, uma estrutura para Reinforcement Learning que fundamenta as decisões de agentes em conceitos discretos e causalmente validados, usando-os como interface de transferência zero-shot. Ele demonstra que esses conceitos impulsionam diretamente o comportamento do agente e que a importância de um conceito pode ser dissociada de sua frequência de uso.
Este artigo propõe uma estrutura de Reinforcement Learning (RL) que utiliza um LLM como juiz para gerar recompensas, permitindo a destilação de conhecimento sem a necessidade de rótulos de verdade fundamental. A abordagem demonstra ganhos substanciais de desempenho em benchmarks de raciocínio matemático, sugerindo que avaliadores baseados em LLM podem produzir sinais de treinamento eficazes.
O texto aborda as limitações de generalização do Reinforcement Learning (RL), onde políticas aprendidas falham fora da distribuição de treinamento. Propõe uma nova taxonomia de contextos (alógenos e autógenos) e identifica direções de pesquisa cruciais para desenvolver uma verdadeira inteligência contextual.
Este conteúdo apresenta o PROGRS, um framework para melhorar o raciocínio matemático em LLMs, combinando modelos de recompensa de processo (PRMs) com a priorização da correção do resultado final. Ele busca resolver o problema de PRMs que podem recompensar raciocínios intermediários fluentes, mas que levam a respostas incorretas, otimizando o aprendizado com feedback mais alinhado.
Cet article présente OSCToM, une approche pour modéliser les conflits de croyances imbriqués dans les tâches de Théorie de l'Esprit basées sur les LLM. Il combine l'apprentissage par renforcement et des modèles de substitution pour générer ces conflits, OSCToM-8B obtenant les meilleurs résultats lors des expériences.
SOLAR est un agent IA autonome conçu pour surmonter les défis des grands modèles de langage dans des environnements dynamiques, permettant l'apprentissage continu et l'adaptation constante. Il utilise le méta-apprentissage au niveau des paramètres et l'apprentissage par renforcement multi-niveaux pour s'auto-améliorer et découvrir des stratégies d'adaptation.
Mahjax est un nouvel environnement Riichi Mahjong entièrement vectorisé implémenté en JAX, conçu pour permettre une parallélisation à grande échelle sur GPU pour la recherche en apprentissage par renforcement. Il facilite l'apprentissage tabula rasa et comprend un outil de visualisation de haute qualité pour le débogage des agents entraînés.
Cette recherche introduit Ecom-RLVE, un cadre conçu pour créer des environnements adaptatifs et vérifiables pour les agents conversationnels opérant dans le commerce électronique. Elle se concentre sur le développement de systèmes d'IA robustes et fiables pour les interactions d'achat en ligne.
Ce contenu explore une approche novatrice de l'apprentissage par renforcement profond en intégrant un "critique de sécurité" pour prévenir les actions dangereuses. La méthodologie vise à améliorer la fiabilité et la robustesse des agents d'IA, les rendant adaptés à un déploiement dans le monde réel où la sécurité est cruciale.
Aurora est un framework RL open source qui transforme le décodage spéculatif en un système auto-améliorable, apprenant de chaque requête. Il offre une amélioration de 1,25x par rapport aux spéculateurs statiques bien entraînés.