RESEARCHarXiv CS.CL·il y a 12j
Modeling Community Attitude through Reaction Tone: A Human-AI Collaborative Framework for Evaluating LLM Alignment with Linguistic Behaviors in Online Communities
Cette recherche présente CARE (Community-Aware Reaction Evaluation), un cadre conçu pour évaluer la capacité des grands modèles linguistiques (LLM) à simuler le discours communautaire par rapport aux réponses humaines authentiques aux actualités. Grâce à la collaboration humain-IA, l'étude identifie un "fossé de réalisme", montrant que les incitations explicites de la communauté n'améliorent pas intrinsèquement la fidélité des simulations de LLM.
27