Un ingeniero senior pasó el último año implementando cinco arquitecturas LLM desde cero en PyTorch, incluyendo GPT-2, Llama 3 y DeepSeek. El proyecto culminó en código de fuente abierta y un libro detallado que documenta el proceso, explicando conceptos avanzados como KV cache, MoE y cuantificación FP8.
AutoCompress es un método de compresión de transformadores que aísla la Capa 0, considerada crítica, manteniéndola a plena dimensionalidad. Aplicado a GPT-2 Medium, logra una reducción del 59,5% en los parámetros con un rendimiento muy superior a una línea base uniforme.
El Cognitive Categorical Transformer (CCT) es una arquitectura de 306M parámetros que aumenta un GPT-2 Small preentrenado con componentes derivados de la teoría de categorías e inspiraciones de la ciencia cognitiva. Logró una reducción relativa del 12% en la perplejidad en WikiText-103 en comparación con un GPT-2 Small de referencia, atribuyéndose el 84% de la mejora al paso de mensajes simplistas de GT-Full.
Este contenido ofrece una guía para reproducir el modelo GPT-2 (124M), detallando los pasos necesarios para recrear esta arquitectura de lenguaje. Sirve como un tutorial práctico para entusiastas y desarrolladores de IA.
