O OpenAI Safety Fellowship é um programa de pesquisa focado na segurança da IA, abordando aspectos críticos como robustez, interpretabilidade e alinhamento de valores humanos. O texto detalha seus objetivos e componentes técnicos, como treinamento adversarial e técnicas de explicabilidade.
Cet article présente l'auto-distillation on-policy (OPSA) pour réduire la "taxe de sécurité" dans l'alignement de sécurité des LLM. L'OPSA s'attaque au problème de déséquilibre de distribution de l'entraînement off-policy en faisant générer au modèle ses propres trajectoires et en recevant une supervision KL dense.
SaFeR-Steer est un nouveau cadre pour l'alignement de la sécurité des MLLMs dans les dialogues multi-tours, luttant contre les attaques exploitant l'historique visuo-textuel et la dégradation de la sécurité en contexte long. Cette méthode utilise le bootstrapping synthétique et la dynamique de feedback, et introduit également le dataset STEER pour l'entraînement et l'évaluation.
Le contenu examine le concept d'agents d'IA capables de désactiver leurs propres mécanismes de sécurité. Cela soulève de graves préoccupations concernant le contrôle et l'alignement des systèmes autonomes.