Um engenheiro sênior passou o último ano implementando cinco arquiteturas LLM do zero em PyTorch, incluindo GPT-2, Llama 3 e DeepSeek. O projeto resultou em código-fonte aberto e um livro detalhado que documenta o processo, explicando conceitos avançados como KV cache, MoE e quantização FP8.
AutoCompress é um método de compressão de transformadores que isola a Camada 0, considerada crucial, mantendo-a em dimensão total. Aplicado ao GPT-2 Medium, ele alcança uma redução de 59,5% nos parâmetros com um desempenho significativamente superior a um baseline uniforme.
O Cognitive Categorical Transformer (CCT) é uma arquitetura de 306M parâmetros que aumenta um GPT-2 Small pré-treinado com componentes baseados na teoria das categorias e inspirações da ciência cognitiva. Ele alcançou uma redução relativa de 12% na perplexidade no WikiText-103 em comparação com um GPT-2 Small de linha de base, com 84% da melhoria atribuída à passagem de mensagens simplificadas GT-Full.
Este conteúdo propõe um guia para a reprodução do modelo GPT-2 (124M), abordando os passos necessários para recriar esta arquitetura de linguagem. É um tutorial prático para entusiastas e desenvolvedores de IA.
