Theory of Mind

3 items

RESEARCHarXiv CS.AI·hace 23d

Does Theory of Mind Improvement Really Benefit Human-AI Interactions? Empirical Findings from Interactive Evaluations

Este artículo propone un nuevo paradigma para la evaluación interactiva de las mejoras en la Teoría de la Mente (ToM) de los Grandes Modelos de Lenguaje (LLMs) en interacciones humano-IA. Los hallazgos empíricos, basados en conjuntos de datos del mundo real y un estudio de usuario, revelan que las mejoras en los puntos de referencia estáticos no siempre se traducen en beneficios para las interacciones dinámicas humano-IA.

LLMs evaluation human-AI interaction empirical study

RESEARCHarXiv CS.AI·hace 14d

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

OmniToM es un nuevo benchmark que evalúa la Teoría de la Mente en LLMs mediante el modelado explícito de estructuras de creencias. Supera las limitaciones de las evaluaciones basadas solo en respuestas finales, permitiendo analizar representaciones de estados mentales, incluyendo creencias divergentes o erróneas.

LLMs Social Reasoning Benchmarking AI evaluation

RESEARCHarXiv CS.AI·hace 20d

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

Este artículo presenta OSCToM, un enfoque para modelar conflictos de creencias anidados en tareas de Teoría de la Mente basadas en LLM. Combina el aprendizaje por refuerzo y modelos sustitutos composicionales para generar estos conflictos, y OSCToM-8B mostró los mejores resultados en los experimentos.

LLMs reinforcement learning AI Research Theory of Mind