Theory of Mind

3 items

RESEARCHarXiv CS.AI·23d atrás

Does Theory of Mind Improvement Really Benefit Human-AI Interactions? Empirical Findings from Interactive Evaluations

Este artigo propõe uma nova metodologia para avaliar a melhoria da Teoria da Mente (ToM) em Large Language Models (LLMs) em interações humano-IA, superando as limitações das avaliações estáticas. Os resultados empíricos, baseados em conjuntos de dados do mundo real e um estudo de usuário, indicam que as melhorias em benchmarks estáticos nem sempre se traduzem em benefícios nas interações dinâmicas humano-IA.

LLMs evaluation human-AI interaction empirical study

RESEARCHarXiv CS.AI·14d atrás

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

OmniToM é um novo benchmark que avalia a Teoria da Mente em LLMs através da modelagem explícita de estruturas de crenças. Ele supera as limitações de avaliações baseadas apenas em respostas finais, permitindo analisar representações de estados mentais, incluindo crenças divergentes ou equivocadas.

LLMs Social Reasoning benchmarking AI evaluation

RESEARCHarXiv CS.AI·20d atrás

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

Este artigo apresenta o OSCToM, uma abordagem para modelar conflitos de crenças aninhados em tarefas de Teoria da Mente baseadas em LLM. Ele combina aprendizado por reforço e modelos substitutos para gerar esses conflitos, com o OSCToM-8B alcançando os melhores resultados nos experimentos.

LLMs reinforcement learning AI research Theory of Mind