IntentGrasp: A Comprehensive Benchmark for Intent Understanding

IntentGrasp est un nouveau benchmark complet pour évaluer la capacité de compréhension d'intention des LLM, dérivé de 49 corpus de haute qualité. Des évaluations approfondies sur 20 LLM ont montré des performances insatisfaisantes, avec des scores inférieurs à 60% sur l'All Set et 25% sur le Gem Set.