Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations
Die Studie untersucht, warum LLMs bei der Argumentation über linearisiertes strukturiertes Wissen halluzinieren. Sie zeigt, dass Halluzinationen auf systematische interne Dynamiken zurückzuführen sind, wie die Konzentration der Aufmerksamkeit auf Shortcut-Hinweise und das Versagen von Feed-Forward-Schichten, das bereitgestellte Wissen zu verankern.