LLMs Struggle with Abstract Meaning Comprehension More Than Expected

Este artigo de pesquisa investiga a dificuldade de LLMs em compreender significados abstratos, mostrando que modelos como GPT-4o falham em configurações zero-shot, one-shot e few-shot, enquanto modelos fine-tuned como BERT e RoBERTa performam melhor. Propõe um classificador de atenção bidirecional que melhora a precisão dos modelos fine-tuned na interpretação de conceitos abstratos.