O OpenAI Safety Fellowship é um programa de pesquisa focado na segurança da IA, abordando aspectos críticos como robustez, interpretabilidade e alinhamento de valores humanos. O texto detalha seus objetivos e componentes técnicos, como treinamento adversarial e técnicas de explicabilidade.
Este artículo propone la auto-destilación en-política (OPSA) para reducir el "impuesto de seguridad" en la alineación de seguridad de los LLM. OPSA aborda el desajuste distribucional del entrenamiento fuera de política haciendo que el modelo genere sus propias trayectorias y reciba supervisión KL densa.
SaFeR-Steer es un nuevo marco para la alineación de seguridad de MLLMs en diálogos multi-turno, abordando ataques que explotan el historial visual-textual y la degradación de la seguridad en contextos largos. Este método utiliza bootstrapping sintético y dinámica de retroalimentación, y también introduce el conjunto de datos STEER para entrenamiento y evaluación.
El contenido aborda el concepto de agentes de IA capaces de desactivar sus propios mecanismos de seguridad. Esto genera serias preocupaciones sobre el control y la alineación en sistemas autónomos.