RICE-PO est un nouveau cadre d'optimisation de politique sans critique qui s'attaque au défi d'attribution de crédit dans les agents linguistiques interactifs. Il convertit les interactions de récupération en signaux d'apprentissage localisés, évaluant les actions exécutables et propageant le crédit aux étapes de raisonnement latentes.
Cet article explore l'optimisation des préférences directes (DPO), une méthode permettant d'aligner les modèles d'IA sur les préférences humaines, en examinant ses applications potentielles au-delà des chatbots traditionnels. Il examine comment le DPO peut être utilisé dans divers domaines de l'IA.
La recherche en IA en 2025 a connu un changement majeur, passant des chatbots aux systèmes de raisonnement, aux agents autonomes et aux systèmes multimodaux. Des entreprises comme Google DeepMind et OpenAI ont fait progresser des domaines tels que les agents de codage et les systèmes de sécurité évolutifs.
Cette recherche introduit Chain-of-Agents, un cadre de bout en bout pour le développement de modèles de fondation d'agents. Il utilise la distillation multi-agents et l'apprentissage par renforcement agentique pour améliorer les capacités des agents IA.
RecoGym est un environnement d'apprentissage par renforcement conçu pour simuler les problèmes de recommandation de produits dans la publicité en ligne. Il offre une plateforme aux chercheurs et aux praticiens pour tester et développer de nouveaux algorithmes de RL pour les systèmes de recommandation.
CoLabScience est un assistant LLM proactif visant à accélérer la découverte biomédicale en améliorant la collaboration entre l'IA et les experts humains. Il intègre PULI, un cadre d'apprentissage par renforcement pour des interventions contextuelles, et présente BSDD, un nouveau jeu de données de dialogue de recherche simulé.
ReTool présente un nouveau cadre d'apprentissage par renforcement conçu pour améliorer les capacités d'utilisation stratégique d'outils des Grands Modèles Linguistiques. Cette approche vise à optimiser la manière dont les LLM sélectionnent et utilisent des outils externes pour résoudre des tâches complexes plus efficacement et plus rapidement.
Cette recherche explore le mécanisme d'entropie de l'apprentissage par renforcement, spécifiquement son application pour améliorer les capacités de raisonnement dans les modèles de langage. Elle étudie comment l'entropie peut être exploitée pour améliorer le processus d'apprentissage et la prise de décision pour un raisonnement plus robuste des modèles de langage.
Cette recherche vise à surmonter les limitations des modèles standards de Reinforcement Learning pour l'optimisation des évacuations en cas d'incendie de forêt. L'auteur applique l'inférence causale, inspirée par Judea Pearl et Bernhard Schölkopf, pour gérer les recommandations inexplicables et les variables de confusion.
L'auteur décrit un moment décisif où l'optimisation statique, y compris le méta-apprentissage, s'est avérée obsolète pour les chaînes d'approvisionnement de fabrication circulaire dynamiques, échouant catastrophiquement lors de changements de politique soudains comme une taxe carbone. Cette expérience a mis en évidence la limitation fondamentale des méthodes traditionnelles à s'adapter aux complexités du monde réel.
Ce contenu décrit le parcours d'un chercheur utilisant l'IA générative pour la conception d'habitats d'exploration en eaux profondes. Après un échec initial, il a entrepris une étude d'un an pour développer des méthodes d'évaluation comparative des modèles génératifs par rapport aux contraintes du monde réel dans des environnements extrêmes.
Le texte aborde la nécessité d'une IA explicable et causale pour les opérations spatiales, illustrant avec un incident de satellite où une correction automatisée a violé les réglementations de souveraineté des données. Il souligne l'échec des approches traditionnelles de l'IA à gérer la complexité des contraintes techniques, des priorités opérationnelles et des frontières juridictionnelles.
Ce contenu présente Deep Dyna-Q, une approche qui intègre la planification pour l'apprentissage des politiques de dialogue dans les systèmes de conversation basés sur l'IA. L'objectif est d'optimiser le processus d'achèvement des tâches via l'interaction dialoguée avec l'IA.
Un récit personnel détaille la lutte d'un chercheur avec un Decision Transformer qui échouait à maintenir des pinces robotiques souples bio-inspirées en déploiement réel, malgré des performances élevées en simulation. Le problème critique identifié était le désalignement entre la politique apprise par l'IA et les attentes humaines en matière de sécurité pour le matériel délicat.
Cet article, faisant partie d'une série, explique pourquoi la rétropropagation standard est insuffisante pour certains scénarios d'apprentissage par renforcement. Il souligne la nécessité des gradients de politique en démontrant comment le calcul d'erreur et l'application des dérivées diffèrent de l'entraînement traditionnel des réseaux neuronaux.
Ce contenu traite de la transition de vLLM V0 à V1, en mettant l'accent sur l'importance de la justesse avant les corrections dans l'apprentissage par renforcement. Il explore les principes de développement et les améliorations pour garantir l'intégrité et la performance des systèmes d'IA.
Cet article de recherche introduit des techniques d'exploration épisodique appliquées aux politiques déterministes profondes. Il se concentre sur l'amélioration des performances de l'IA dans les tâches complexes de microgestion de StarCraft.
Les Policy Gradients sont un algorithme fondamental de l'apprentissage par renforcement qui optimise directement la politique, qui mappe les états aux actions, à l'aide de méthodes basées sur le gradient. C'est crucial pour gérer les espaces d'action de grande dimension et apprendre des politiques stochastiques, offrant des avantages sur les méthodes basées sur la valeur en apprenant la politique directement.
Self-Distillation Zero (SD-Zero) est une nouvelle méthode de post-entraînement plus efficace en termes d'échantillons que l'apprentissage par renforcement, sans nécessiter d'enseignants externes ou de démonstrations de haute qualité. Elle entraîne un modèle unique à jouer les rôles de Générateur et de Réviseur, transformant les récompenses binaires éparses en une supervision dense via l'autodistillation.
Cette étude examine l'utilité des capacités d'auto-surveillance (métacognition, auto-prédiction) chez les agents d'apprentissage par renforcement, constatant qu'elles n'offrent aucun bénéfice significatif. Les modules implémentés se sont effondrés vers des sorties quasi constantes, indiquant l'inefficacité des mécanismes testés.