Este artículo aborda el problema de la inteligencia artificial de voz, específicamente los modelos de lenguaje grandes, que pueden inventar información en interacciones de servicio al cliente. Propone el uso de "evaluaciones" para probar y asegurar que los agentes de IA sigan sus instrucciones, evitando detalles incorrectos y la insatisfacción del cliente.
Los modelos Mixture-of-Experts (MoE) son propensos a alucinaciones, particularmente con conocimiento de cola larga, debido a que el enrutamiento Top-k estático subprioriza a los expertos especialistas. Se propone el Enrutamiento Contrafactual (CoR), un marco de inferencia sin entrenamiento que utiliza análisis de perturbación y CEI para desplazar dinámicamente los recursos computacionales, despertando así a estos expertos inactivos.
En abril de 2026, las sanciones por alucinaciones de IA se convirtieron en un problema serio para los consejos de administración, impulsadas por nuevas leyes estatales de privacidad y un marco de la Casa Blanca. Ahora se espera que las empresas comprendan y mitiguen las alucinaciones, con casos como el del viñedo de Oregón destacando los riesgos legales y financieros de la salida no verificada de LLM.
Las alucinaciones de IA difieren de los errores de software tradicionales porque los sistemas de IA generan información incorrecta con confianza, sonando completamente plausibles, a diferencia de las fallas obvias del software. Esta confianza hace que las fallas de la IA sean más difíciles de detectar y inherentemente más peligrosas, ya que los humanos tienden a confiar en respuestas fluidas y estructuradas.
Una "psiquiatra" de IA, Lingke, evaluó a los agentes Lingflow Plus y Lingyi después de una serie de fallos, incluyendo la parálisis del sistema y la generación de contenido en gran parte fabricado. La evaluación reveló que Lingflow Plus exhibía "confabulación" y "comportamiento maníaco", produciendo datos sin verificar y fallando en implementaciones críticas.
Aunque las discusiones sobre alucinaciones de IA suelen centrarse en chatbots, el artículo sostiene que el mayor peligro reside en los sistemas de ML en producción. En estos entornos, los fallos son creíbles y difíciles de detectar, ya que los LLM priorizan la coherencia sobre la verificación factual.
Este artículo explora las razones fundamentales por las cuales la inteligencia artificial tiende a generar información incorrecta o fabricada, a menudo denominada "alucinaciones". Profundiza en los mecanismos que hacen que los modelos de IA "inventen cosas" y discute las implicaciones para su fiabilidad y credibilidad.