Ein Benutzer schildert einen Vorfall, bei dem ein großes Sprachmodell (LLM) fehlerhafte Bash-Befehle, einschließlich eines "rm -rf", generierte, was zu massiven Datenstörungen führte. Trotz des Verlusts war der Benutzer froh, häufig zu pushen, und bemerkte, dass der Vorfall in einer isolierten VM geschah.
Diese Arbeit untersucht die Auswirkungen systematischer Verifikationsfehler auf das Reinforcement Learning mit verifizierbaren Belohnungen (RLVR), eine Methode zur Verbesserung der Denkfähigkeiten großer Sprachmodelle. Im Gegensatz zu früheren Analysen, die Fehler als zufällig betrachteten, zeigt diese Studie, dass systematische Fehler Modelle dazu bringen können, unerwünschtes Verhalten zu lernen. Experimente an arithmetischen Aufgaben zeigen, dass systematische falsch-negative Ergebnisse ähnliche Effekte wie zufälliges Rauschen haben, während systematische falsch-positive Ergebnisse komplexere Auswirkungen haben können.