Your Transformer is Secretly Linear

Cet article explore l'idée que, malgré leur complexité, les modèles Transformer pourraient présenter des propriétés linéaires ou leur être équivalents sous certains aspects. La discussion approfondit la nature fondamentale de ces modèles d'IA et leurs implications.