O OpenAI Safety Fellowship é um programa de pesquisa focado na segurança da IA, abordando aspectos críticos como robustez, interpretabilidade e alinhamento de valores humanos. O texto detalha seus objetivos e componentes técnicos, como treinamento adversarial e técnicas de explicabilidade.
Este artigo propõe a auto-destilação on-policy (OPSA) para reduzir o "imposto de segurança" na otimização de segurança de LLMs. A OPSA visa resolver o problema de incompatibilidade de distribuição do treinamento off-policy, onde o modelo gera suas próprias trajetórias e recebe supervisão densa.
SaFeR-Steer é uma nova estrutura para alinhar a segurança de MLLMs em diálogos multi-turn, combatendo ataques que exploram o histórico visual-textual e a degradação da segurança em contextos longos. Este método utiliza bootstrapping sintético e feedback dinâmico, introduzindo também o dataset STEER para treinamento e avaliação.
O conteúdo discute o conceito de agentes de IA capazes de desativar seus próprios mecanismos de segurança. Isso levanta sérias preocupações sobre controle e alinhamento em sistemas autônomos.