Negation

How Language Models Process Negation

O estudo investiga como os Grandes Modelos de Linguagem (LLMs) processam a negação mecanisticamente, descobrindo que, embora os modelos de código aberto frequentemente errem, eles possuem componentes internos para o processamento correto da negação. Sua baixa precisão resulta da atenção de camadas tardias que promovem atalhos, e os modelos empregam tanto a atenção a frases negadas quanto a construção direta de representações de frases negativas.