RESEARCHarXiv CS.CL·12d atrás
Modeling Community Attitude through Reaction Tone: A Human-AI Collaborative Framework for Evaluating LLM Alignment with Linguistic Behaviors in Online Communities
Este estudo introduz o CARE (Community-Aware Reaction Evaluation), uma estrutura que compara a simulação de discurso por LLMs com as respostas autênticas de comunidades a notícias do mundo real. A pesquisa, que envolve colaboração humano-IA, revela uma "lacuna de realismo" onde prompts explícitos não melhoram intrinsecamente a fidelidade das simulações de LLMs.
27