Un utilisateur raconte un incident où un modèle de langage (LLM) a généré des commandes bash incorrectes, y compris un "rm -rf", entraînant une perturbation massive des données. Malgré la perte, l'utilisateur était soulagé de pousser fréquemment et a noté que l'incident s'était produit dans une VM isolée.
Cet article étudie l'impact des erreurs de vérification systématiques sur l'apprentissage par renforcement avec récompenses vérifiables (RLVR), une approche visant à améliorer les capacités de raisonnement des grands modèles de langage. Contrairement aux analyses précédentes qui traitaient les erreurs comme aléatoires, cette étude montre que des erreurs systématiques peuvent amener les modèles à apprendre des comportements indésirables. Des expériences sur des tâches arithmétiques révèlent que les faux négatifs systématiques ont des effets similaires au bruit aléatoire, tandis que les faux positifs systématiques peuvent avoir des impacts plus graves.