Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations

O estudo investiga por que LLMs alucinam ao raciocinar sobre conhecimento estruturado linearizado. Ele revela que as alucinações surgem de dinâmicas internas sistemáticas, como atenção focada em atalhos e falhas na fundamentação semântica em camadas feed-forward.