Cette étude révèle que les couches de sécurité dans les grands modèles linguistiques peuvent être désactivées en manipulant un seul neurone caché. Cette intervention minimale fonctionne sur diverses familles et échelles de modèles, remettant en question l'hypothèse que l'alignement est robustement réparti dans le réseau.
L'auteur décrit une panne de 6 heures de son agent de contenu IA, causée par un bug d'injection de prompt indirecte provenant d'un fichier de recherche non validé. Cela a conduit l'agent à générer 47 brouillons identiques et inachevés, soulignant le besoin critique de validation des entrées dans les systèmes d'IA.
Cet article démontre comment empoisonner un assistant de sécurité IA basé sur RAG et effectuer une injection de prompt indirecte. Les résultats de référence montrent des taux de réussite d'attaque de 80 % et 100 %, prouvant la vulnérabilité de ces systèmes.