Brain-CLIPLM: Decoding Compressed Semantic Representations in EEG for Language Reconstruction

Ce travail propose une hypothèse de compression sémantique pour surmonter les limites du décodage EEG-vers-texte, suggérant que les signaux EEG encodent des ancres sémantiques compressées plutôt que la structure linguistique complète. Il introduit Brain-CLIPLM, un cadre en deux étapes pour l'extraction d'ancres sémantiques via l'apprentissage contrastif et la reconstruction de phrases à l'aide d'un grand modèle de langage basé sur la récupération.