Se lanza un nuevo libro y código fuente abierto, que detalla cómo construir arquitecturas LLM modernas como GPT-2, Llama 3 y DeepSeek desde cero en PyTorch. Explica los cambios arquitectónicos para transformar GPT-2 en Llama 3 e implementa las características avanzadas de DeepSeek.
Los diseños convencionales de Mixture-of-Experts aumentan los parámetros linealmente con la profundidad al asignar conjuntos de expertos privados a cada capa del transformador. Un nuevo enfoque, UniPool, lo reemplaza con un grupo de expertos único y compartido globalmente del que todos los enrutadores se benefician, reduciendo drásticamente el recuento total de parámetros de expertos mientras mantiene una calidad predictiva comparable.
Los Transformers en Bucle ofrecen una forma de mejorar el rendimiento del modelo reutilizando bloques iterativamente sin aumentar el recuento de parámetros, pero sufren de inestabilidad en el entrenamiento con más iteraciones. Esta inestabilidad se atribuye a la oscilación de gradiente y la explosión residual, lo que llevó a la propuesta del Fully Looped Transformer, que introduce una Arquitectura Totalmente en Bucle y la Inyección de Atención.
Esta investigación presenta un Transformer Temporal-Channel diseñado para la detección de objetos en video basada en Lidar 3D. Su objetivo es mejorar las capacidades de percepción de los sistemas de conducción autónoma, procesando datos Lidar secuenciales.
O artigo investiga a técnica de "noise steering", que injeta perturbações gaussianas em modelos Transformer durante a inferência, para gerar histórias educacionais em árabe. O método melhora a diversidade narrativa para avaliações de leitura de nível inicial, mantendo a qualidade e o nível de leitura.
Este trabajo presenta un marco de desacoplamiento basado en B-splines para la compresión de modelos Transformer. Generaliza los enfoques basados en tensores existentes, abordando sus limitaciones en inestabilidad numérica o expresividad limitada.
Este estudio examina los mecanismos internos de métodos de edición de conocimiento como ROME y MEMIT, revelando que ediciones diversas comparten una estructura funcional común basada en un subconjunto específico de pesos. Una máscara binaria sobre estos pesos revierte la mayoría de las ediciones al eliminar la sobreatención en capas posteriores, demostrando la necesidad de este mecanismo para el éxito de las ediciones.