LLMs Struggle with Abstract Meaning Comprehension More Than Expected

Cette recherche examine la capacité des LLM à comprendre les significations abstraites, montrant que des modèles comme GPT-4o rencontrent des difficultés en zero-shot, one-shot et few-shot, contrairement aux modèles affinés comme BERT et RoBERTa. Elle propose un classifieur d'attention bidirectionnelle qui améliore considérablement la précision des modèles affinés dans l'interprétation des concepts abstraits.