Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations

Die Studie untersucht, warum LLMs bei der Argumentation über linearisiertes strukturiertes Wissen halluzinieren. Sie zeigt, dass Halluzinationen auf systematische interne Dynamiken zurückzuführen sind, wie die Konzentration der Aufmerksamkeit auf Shortcut-Hinweise und das Versagen von Feed-Forward-Schichten, das bereitgestellte Wissen zu verankern.