Un ingénieur senior a passé la dernière année à implémenter cinq architectures LLM à partir de zéro en PyTorch, notamment GPT-2, Llama 3 et DeepSeek. Le projet a abouti à du code open source et à un livre détaillé documentant le processus, expliquant des concepts avancés comme le cache KV, MoE et la quantification FP8.
AutoCompress est une méthode de compression de transformateurs qui isole la Couche 0, jugée critique, en la maintenant à pleine dimensionnalité. Appliquée à GPT-2 Medium, cette méthode réduit les paramètres de 59,5 % avec des performances nettement supérieures à une base de référence uniforme.
Le Cognitive Categorical Transformer (CCT) est une architecture de 306M de paramètres qui augmente un GPT-2 Small pré-entraîné avec des composants issus de la théorie des catégories et des inspirations des sciences cognitives. Il a obtenu une réduction relative de 12% de la perplexité sur WikiText-103 par rapport à une base de référence GPT-2 Small finement ajustée, 84% de l'amélioration étant attribuée au passage de messages simpliciaux GT-Full.
Ce contenu propose un guide pour la reproduction du modèle GPT-2 (124M), détaillant les étapes nécessaires pour recréer cette architecture linguistique. Il s'agit d'un tutoriel pratique pour les passionnés et les développeurs d'IA.
