Um novo livro e código-fonte aberto foram lançados, detalhando como construir arquiteturas de LLMs modernas como GPT-2, Llama 3 e DeepSeek do zero em PyTorch. Ele explica as mudanças arquitetônicas para transformar GPT-2 em Llama 3 e implementa os recursos avançados do DeepSeek.
Designs convencionais de Mixture-of-Experts aumentam os parâmetros linearmente com a profundidade, atribuindo conjuntos de especialistas privados a cada camada do transformador. Uma nova abordagem, UniPool, substitui isso por um pool de especialistas único e globalmente compartilhado do qual todos os roteadores se beneficiam, reduzindo drasticamente a contagem total de parâmetros de especialistas enquanto mantém uma qualidade preditiva comparável.
Transformers em Loop oferecem uma alternativa para melhorar o desempenho do modelo reutilizando blocos iterativamente sem aumentar o número de parâmetros, mas sofrem de instabilidade no treinamento com mais iterações. Essa instabilidade é causada por oscilação de gradiente e explosão residual, o que levou à proposta do Fully Looped Transformer, que introduz uma Arquitetura Totalmente em Loop e Injeção de Atenção.
Esta pesquisa apresenta um Transformer Temporal-Channel projetado para a detecção de objetos em vídeo baseada em Lidar 3D. O trabalho visa aprimorar as capacidades de percepção de sistemas de direção autônoma, processando dados Lidar sequenciais.
O artigo investiga a técnica de "noise steering", que injeta perturbações gaussianas em modelos Transformer durante a inferência, para gerar histórias educacionais em árabe. O método melhora a diversidade narrativa para avaliações de leitura de nível inicial, mantendo a qualidade e o nível de leitura.
Este trabalho apresenta um framework de desacoplamento baseado em B-splines para a compressão de modelos Transformer. Ele generaliza abordagens existentes que usam polinômios ou funções lineares por partes, oferecendo maior expressividade e estabilidade numérica.
O artigo investiga os mecanismos internos de métodos de edição de conhecimento como ROME e MEMIT, descobrindo que edições diversas partilham uma estrutura funcional comum dependente de um subconjunto específico de pesos. Uma máscara binária sobre esses pesos reverte a maioria das edições ao eliminar a superatenção em camadas posteriores, provando a necessidade desse mecanismo para o sucesso das edições.