Las fallas en el razonamiento de los modelos de lenguaje surgen a través de procesos distintos que dejan firmas identificables a nivel de token. Estas fallas se caracterizan como "falla comprometida" o "incertidumbre persistente", y comprender estas firmas ayuda a distinguir los resultados fallidos de los exitosos en varias configuraciones.
Las alucinaciones de IA difieren de los errores de software tradicionales porque los sistemas de IA generan información incorrecta con confianza, sonando completamente plausibles, a diferencia de las fallas obvias del software. Esta confianza hace que las fallas de la IA sean más difíciles de detectar y inherentemente más peligrosas, ya que los humanos tienden a confiar en respuestas fluidas y estructuradas.
El artículo analiza por qué la mayoría de los agentes autónomos de IA fracasan en su primera semana, atribuyendo los colapsos a costos excesivos de inferencia y a una mala comprensión de la economía de tokens. Subraya que los agentes deben generar más valor que sus costos computacionales para sobrevivir más allá de la financiación inicial, destacando lecciones económicas críticas para los desarrolladores.