Diese Studie zeigt, dass Sicherheitsvorkehrungen in großen Sprachmodellen durch das Kippen eines einzelnen verborgenen Neurons deaktiviert werden können. Diese minimale Intervention funktioniert über verschiedene Modellfamilien und -größen hinweg und widerlegt die Annahme, dass die Ausrichtung robust im gesamten Netzwerk verteilt ist.
Der Autor beschreibt einen sechsstündigen Ausfall seines KI-Content-Agenten, verursacht durch einen indirekten Prompt-Injection-Bug aus einer unvalidierten Forschungsdatei. Dies führte zur Generierung von 47 identischen, unfertigen Entwürfen und unterstreicht die kritische Notwendigkeit der Eingabevalidierung in KI-Systemen.
Dieser Artikel zeigt, wie man einen RAG-basierten KI-Sicherheitsassistenten vergiftet und indirekte Prompt-Injektionen durchführt. Benchmark-Ergebnisse zeigen Angriffs-Erfolgsraten von 80% und 100%, was die Anfälligkeit dieser Systeme beweist.