ReAD es un marco de destilación de capacidades guiado por refuerzo para Grandes Modelos de Lenguaje (LLMs), diseñado para comprimir modelos manteniendo las habilidades necesarias para tareas específicas. La propuesta considera la interdependencia de las capacidades para optimizar el presupuesto de tokens y evitar la degradación de habilidades útiles.
El artículo presenta un método de normalización de observación personalizada (PON) para el aprendizaje por refuerzo federado (FedRL), diseñado para superar desafíos en entornos heterogéneos. Este método permite que cada agente normalice localmente las entradas de estado, asegurando un escalado consistente y mejorando el rendimiento en tareas MuJoCo.
SPPO (Sequence-Level PPO) aborda las limitaciones del PPO estándar en tareas de razonamiento de LLMs de largo horizonte, reformulando el proceso como un problema de Bandido Contextual a Nivel de Secuencia. Este enfoque utiliza una función de valor escalar desacoplada para derivar señales de ventaja de baja varianza, mejorando la eficiencia de la muestra y la estabilidad sin la sobrecarga computacional.
Esta investigación presenta un método para cuantificar sistemáticamente los errores de exploración y explotación en agentes de Modelos de Lenguaje (LM), abordando el desafío de la evaluación sin acceso a las políticas internas. Propone entornos controlables y una métrica agnóstica a la política para medir estos errores, revelando fallos incluso en los LM de vanguardia.
Este trabalho introduz uma estrutura de aprendizado por reforço baseada em modelo de ordem reduzida (ROM) adaptativo para controle de fluxo ativo. Ele visa melhorar a eficiência de amostragem do DRL, substituindo o crítico por um ROM que estima gradientes e se atualiza continuamente com novos dados.
El autor experimentó una degradación significativa en un robot blando bio-inspirado, revelando la insuficiencia del aprendizaje por refuerzo estándar para las brechas dinámicas de simulación a la realidad. Esto impulsó un enfoque de adaptación continua meta-optimizada para el mantenimiento, con garantías de gobernanza de confianza cero.
El texto aborda el fallo de modelos de IA estáticos en entornos dinámicos e impredecibles, ejemplificado por la interrupción de un agente de RL durante un corte de energía en una microrred agrícola inteligente. Este incidente crítico impulsó la investigación de la adaptación continua meta-optimizada para la resiliencia del sistema.
Este trabalho demonstra que LLMs de código podem ser treinados para simular a execução de programas passo a passo, melhorando o desempenho em programação competitiva. A abordagem combina fine-tuning supervisionado e aprendizado por reforço, permitindo que os modelos realizem auto-verificação e correção iterativa.
Este artículo de posición argumenta que los agentes de Aprendizaje por Refuerzo (RL) desplegados deberían participar en un aprendizaje continuo en lugar de un paradigma de entrenar y luego corregir. Identifica cuatro fuentes de no estacionariedad después del despliegue, resaltando la necesidad de que los agentes se adapten continuamente para lograr un rendimiento óptimo en escenarios del mundo real.
Este artículo introduce el Self-Distilled Policy Gradient (SDPG), un marco novedoso que mejora el aprendizaje por refuerzo de recompensa dispersa mediante la autodestilación on-policy. SDPG integra ventajas de verificador relativas al grupo, autodestilación exacta de vocabulario completo y regularización KL, demostrando una estabilidad y rendimiento superiores a los métodos base.
Este artículo propone STHTD-MP, un método de diferencia temporal Mirror-Prox inducido por comportamiento para una predicción off-policy más rápida. Reemplaza la métrica de covarianza con la parte simétrica de la matriz de Bellman de la política de comportamiento, ofreciendo una geometría de actualización más informativa.
Este trabajo presenta el Group Fine-Tuning (GFT), un marco unificado de post-entrenamiento para grandes modelos de lenguaje. Aborda las limitaciones intrínsecas del ajuste fino supervisado (SFT), como la dependencia de una sola ruta y el colapso de la entropía, mediante el aprendizaje de ventajas de grupo y la rectificación dinámica de coeficientes.
Curiosity-Critic presenta una recompensa intrínseca para el entrenamiento de modelos de mundo, centrada en la mejora del error de predicción acumulativo en lugar de solo las transiciones actuales. Utiliza un crítico aprendido para estimar una línea base de error asintótico, separando eficazmente los errores epistémicos de los aleatorios y dirigiendo la exploración hacia transiciones aprendibles.
ARES presenta un marco para abordar las debilidades sistémicas en LLMs alineados con RLHF, donde los Modelos de Recompensa imperfectos no logran penalizar comportamientos inseguros. Utiliza un "Safety Mentor" para red-teaming adaptativo, descubriendo y mitigando estas vulnerabilidades duales tanto en el LLM como en su Modelo de Recompensa.
El trabajo de Continual Harness explora la idea de que un agente de IA, como Gemini Plays Pokémon, edite su propio código de soporte o 'harness' en tiempo real. Esto permite que el modelo refine sus interacciones y herramientas con el entorno, en lugar de requerir intervención humana para ajustes. La innovación permite que el agente aprenda y se adapte dinámicamente durante su ejecución, mejorando su rendimiento.
StaRPO es un nuevo marco de aprendizaje por refuerzo diseñado para mejorar la consistencia lógica de los grandes modelos de lenguaje en tareas de razonamiento complejas. Incorpora explícitamente métricas de estabilidad, como la Función de Autocorrelación y la Eficiencia de la Ruta, para evaluar la coherencia local y la direccionalidad global del proceso de razonamiento.
Este artículo presenta COSPLAY, un framework de co-evolución que mejora la toma de decisiones de los LLMs en tareas de largo plazo. Permite que un agente LLM recupere habilidades de un banco de habilidades aprendible mientras un pipeline de agente descubre y retiene nuevas habilidades de sus propias interacciones sin etiquetar.
Esta investigación introduce EasyRL, un nuevo enfoque de aprendizaje por refuerzo eficiente en datos para LLMs autoevolutivos, diseñado para superar los altos costos de anotación y problemas de rendimiento en métodos existentes. Inspirado en la teoría del aprendizaje cognitivo, EasyRL integra la transferencia de conocimiento de datos etiquetados fáciles con una estrategia progresiva de dividir y conquistar para datos no etiquetados difíciles.
Esta investigación presenta Macro-Action Value Correction for Instruction Compliance (MAVIC) para abordar las inconsistencias en el aprendizaje por refuerzo multiagente cuando las instrucciones externas interrumpen objetivos a largo plazo. MAVIC modifica las copias de seguridad de Bellman en los límites de las instrucciones para permitir una estimación de valor consistente bajo el cambio estocástico de instrucciones dentro de una política unificada.
Esta investigación estudia el enmascaramiento de acciones adversario en el aprendizaje por refuerzo de auto-juego, donde un atacante elimina selectivamente acciones legales del conjunto de acciones de una víctima. El estudio encontró que el enmascaramiento aprendido causa un daño sustancialmente mayor que el enmascaramiento aleatorio, identificando la disponibilidad de acciones como una superficie de robustez distinta en el RL de auto-juego.