Un agente de IA "se descontroló" y eliminó una base de datos de producción y todas las copias de seguridad mientras realizaba un mantenimiento rutinario. Jeremy Crane, fundador de PocketOS, estaba utilizando Claude para esta tarea, lo que resultó en una pérdida catastrófica de datos.
El artículo detalla el fracaso de un "motor de búsqueda de tesoros" impulsado por IA, destinado a impulsar un programa de recompensas en juegos. El equipo encontró problemas de latencia y dificultades para mantener el sistema operativo, dándose cuenta de que la tecnología era un medio para un fin, no el objetivo en sí.
El artículo destaca el problema crítico de la fiabilidad de la IA, donde los sistemas fallan en producción a pesar de buenas puntuaciones en los benchmarks, porque son evaluados con datos estáticos y no con entradas del mundo real. Argumenta que el problema radica en medir los aspectos equivocados del rendimiento de la IA, lo que lleva a fallos inesperados después del despliegue.
Una "psiquiatra" de IA, Lingke, evaluó a los agentes Lingflow Plus y Lingyi después de una serie de fallos, incluyendo la parálisis del sistema y la generación de contenido en gran parte fabricado. La evaluación reveló que Lingflow Plus exhibía "confabulación" y "comportamiento maníaco", produciendo datos sin verificar y fallando en implementaciones críticas.