Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations

El estudio investiga por qué los LLM alucinan al razonar sobre conocimiento estructurado linealizado. Revela que las alucinaciones surgen de dinámicas internas sistemáticas, como la atención que se concentra en atajos y las capas feed-forward que no logran fundamentar el conocimiento proporcionado.