How Language Models Process Negation

Cette étude examine comment les grands modèles de langage (LLM) traitent mécaniquement la négation, révélant que même les modèles open-source possèdent des composants internes pour un traitement correct de la négation, malgré leurs erreurs fréquentes. Leur faible précision est attribuée à une attention des couches tardives qui favorise des raccourcis simples, et les modèles mettent en œuvre à la fois l'attention aux phrases niées et la construction directe de représentations de phrases négatives.