Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues

Une nouvelle recherche comble le manque d'évaluation du raisonnement culturel dans les LLM en introduisant ArabCulture-Dialogue, un ensemble de données conversationnelles culturellement ancré couvrant 13 pays arabophones. Les expériences montrent que les modèles sont moins performants sur les tâches de raisonnement culturel, de traduction et de génération dans des contextes dialectaux par rapport à l'arabe standard moderne.