ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System

ARES presenta un marco para abordar las debilidades sistémicas en LLMs alineados con RLHF, donde los Modelos de Recompensa imperfectos no logran penalizar comportamientos inseguros. Utiliza un "Safety Mentor" para red-teaming adaptativo, descubriendo y mitigando estas vulnerabilidades duales tanto en el LLM como en su Modelo de Recompensa.