Evaluating Large Language Models in a Complex Hidden Role Game

Esta investigación cuantifica el potencial engañoso de los Grandes Modelos de Lenguaje (LLMs) en el juego de deducción social Secret Hitler, introduciendo métricas novedosas y un marco de código abierto. El estudio compara los LLMs con algoritmos basados en reglas y juegos humanos, revelando una brecha entre la capacidad conversacional y la profundidad estratégica, y mostrando que las técnicas de mejora del razonamiento pueden empeorar el rendimiento para los roles fascistas.