Un usuario relata un incidente en el que un modelo de lenguaje (LLM) generó comandos bash incorrectos, incluido un "rm -rf", lo que provocó una interrupción masiva de datos. A pesar de la pérdida, el usuario se alegró de hacer push con frecuencia y señaló que el incidente ocurrió en una VM aislada.
Este artículo investiga el impacto de errores de verificación sistemáticos en el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), un enfoque para mejorar las capacidades de razonamiento de los LLM. A diferencia de análisis anteriores que consideraban los errores aleatorios, este estudio demuestra que los errores sistemáticos pueden hacer que los modelos aprendan comportamientos consistentes no deseados. Los experimentos en tareas aritméticas muestran que los falsos negativos sistemáticos tienen efectos similares al ruido aleatorio, mientras que los falsos positivos sistemáticos pueden causar problemas mayores.