Theory of Mind

3 items

RESEARCHarXiv CS.AI·vor 22T

Does Theory of Mind Improvement Really Benefit Human-AI Interactions? Empirical Findings from Interactive Evaluations

Dieses Papier stellt ein neues Paradigma zur interaktiven Bewertung von Verbesserungen der Theory of Mind (ToM) in großen Sprachmodellen (LLMs) für Mensch-KI-Interaktionen vor. Empirische Ergebnisse aus realen Datensätzen und einer Benutzerstudie zeigen, dass ToM-Verbesserungen bei statischen Benchmarks nicht immer zu Vorteilen in dynamischen Mensch-KI-Interaktionen führen.

LLMs evaluation human-AI interaction empirical study

RESEARCHarXiv CS.AI·vor 13T

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

OmniToM ist ein neuer Benchmark zur Bewertung der Theory of Mind in LLMs durch explizite Modellierung von Überzeugungsstrukturen. Er überwindet die Grenzen der reinen Endpunkt-Fragebeantwortung und ermöglicht eine tiefere Analyse mentaler Zustandsrepräsentationen, einschließlich abweichender oder fehlerhafter Überzeugungen.

LLMs Social Reasoning Benchmarking AI evaluation

RESEARCHarXiv CS.AI·vor 19T

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

Dieses Papier stellt OSCToM vor, einen Ansatz zur Modellierung verschachtelter Glaubenskonflikte in LLM-basierten Theory of Mind-Aufgaben. Es kombiniert Reinforcement Learning und Kompositions-Surrogatmodelle, um diese Konflikte zu generieren, wobei OSCToM-8B in Experimenten die besten Ergebnisse erzielte.

LLMs reinforcement learning AI Research Theory of Mind