IntentGrasp: A Comprehensive Benchmark for Intent Understanding

IntentGrasp é um novo benchmark abrangente para avaliar a capacidade de compreensão de intenções de LLMs, derivado de 49 corpora de alta qualidade. Avaliações extensivas em 20 LLMs demonstraram um desempenho insatisfatório, com pontuações abaixo de 60% no All Set e 25% no Gem Set.