RESEARCHarXiv CS.CL·hace 12d
Modeling Community Attitude through Reaction Tone: A Human-AI Collaborative Framework for Evaluating LLM Alignment with Linguistic Behaviors in Online Communities
Este estudio introduce CARE (Community-Aware Reaction Evaluation), un marco para comparar la simulación de discurso de los LLM con las respuestas auténticas y contingentes de comunidades a noticias del mundo real. A través de la colaboración humano-IA, la investigación identifica una "brecha de realismo", demostrando que las indicaciones explícitas de la comunidad no mejoran inherentemente la fidelidad de la simulación.
27