Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues

Um novo trabalho aborda a lacuna na avaliação do raciocínio cultural em LLMs, introduzindo o ArabCulture-Dialogue, um conjunto de dados conversacionais culturalmente fundamentado que abrange 13 países de língua árabe. As experiências revelam que os modelos apresentam pior desempenho em tarefas de raciocínio cultural, tradução e geração em configurações dialetais em comparação com o árabe padrão moderno.