O artigo apresenta o WAV v1, um método leve de roteamento residual multi-resolução para Transformers apenas com decodificador. Ele melhora as conexões residuais padrão ao aumentar cada bloco com bases de detalhe direcionais que contrastam as atualizações de atenção e MLP, e as dinâmicas de subcamadas iniciais e finais.
Um desenvolvedor treinou modelos de deep learning baseados em transformers para jogar xadrez como humanos em diversas categorias de rating, incluindo a previsão do tempo de pensamento. Os modelos foram treinados com dados do Lichess e alcançaram precisão comparável ao MAIA-3, apesar de seu pequeno tamanho.
O usuário está treinando um modelo de IA do zero e busca conselhos sobre a melhor arquitetura, considerando mudar do Nanochat (que carece de compatibilidade com Transformers) para a arquitetura Llama. O objetivo é um projeto de código aberto com um novo e maior conjunto de dados, apesar das vantagens do Nanochat.
Esta publicação detalha descobertas empíricas da competição Parameter Golf da OpenAI, explicando por que os Modelos de Espaço de Estado (SSMs) estão estruturalmente em desvantagem em relação aos transformers em regimes de treino com restrição de parâmetros e tempo. Os problemas incluem pior compressão dos pesos in_proj dos SSMs e reversões de ganhos arquitetônicos em vocabulários maiores, além de insights de experimentos com kernels Triton Mamba-3.
Macrocosmos lançou ResBM, uma nova arquitetura de transformador para treinamento pipeline-paralelo de baixa largura de banda. Ela alcança uma compressão de ativação de 128x, mantendo a convergência sem perdas significativas.
O artigo introduz SATFormer, uma nova variante de Transformer que melhora a eficiência ao permitir que os "heads" reacessem seletivamente representações iniciais, em vez de copiá-las uniformemente. Esse mecanismo de "gating" dependente do contexto otimiza a reutilização de informações, oferecendo um melhor equilíbrio entre eficiência e desempenho.
![Transformers with Selective Access to Early Representations [R]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/bfj0qllk9fzg1.png?width=140&height=47&auto=webp&s=afd139021e7256d039453286e5a71d859d7fe9bb)
Este conteúdo discute um artigo de pesquisa sobre Transformers Recorrentes em Profundidade, destacando suas descobertas sobre generalização composicional e fora da distribuição. Ele explora como a supervisão de etapas intermediárias pode prejudicar o raciocínio genuíno em modelos de IA, tornando-os excessivamente dependentes de heurísticas estatísticas, um conceito estendido a modelos de base e à intuição humana.
Este artigo oferece uma análise técnica aprofundada de como os modelos Visual-Language-Action (VLA) funcionam, detalhando sua capacidade de mapear entradas de visão e linguagem em ações robóticas. Ele explora as principais abordagens de decodificação de ações, como ações autorregressivas tokenizadas, cabeças de ação baseadas em difusão e políticas de correspondência de fluxo.
![How Visual-Language-Action (VLA) Models Work [D]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://external-preview.redd.it/fBpt1C8zS6YDW2Lp0_fnNCU2C0Dw1W3tzt7P4g39SHw.jpeg?width=640&crop=smart&auto=webp&s=d9f046e9b38c478cf671d18df1b23a42fd1613bd)
O usuário pergunta sobre a data de lançamento e a adoção generalizada do TurboQuant, destacando os grandes ganhos de desempenho ao usar uma configuração assimétrica para K e V. A discussão sugere uma otimização técnica em modelos de inteligência artificial.
Este estudo avalia sistematicamente variantes da formulação de atenção QKV (Query, Key, Value) em Transformers, incluindo projeções de chave-valor, query-chave e únicas. Experimentos em tarefas sintéticas, de visão e modelagem de linguagem mostram que essas formulações alternativas performam tão bem ou melhor que Transformers QKV padrão, com a partilha Q-K=V reduzindo significativamente o cache KV na modelagem de linguagem.
Este trabalho aborda o desafio de modalidades ausentes em dados clínicos multimodais para diagnóstico, reformulando-o como uma tarefa de modelagem de sequência autorregressiva. Utiliza decodificadores causais de LLMs e uma pré-treinamento contrastivo consciente da ausência para superar as linhas de base em benchmarks como MIMIC-IV e eICU.
Este artigo investiga a propagação de sinal na inicialização de transformers usando a norma jacobiana parcial média (APJN) para medir a amplificação do gradiente. A teoria estende a análise de APJN, prevê o comportamento assintótico da APJN em grande profundidade e explica a subcriticidade de arquiteturas sem normalização como Dynamic Tanh e Dynamic erf transformers.
Este trabalho aborda o alto consumo de memória do cache Key-Value (KV) em modelos transformer, propondo uma otimização através da dimensão de profundidade. A pesquisa introduz um método para compartilhamento de cache entre camadas, demonstrando que o descarte do cache de uma camada pode ser eficiente sem perda de informação e sugere um treinamento com atenção aleatória entre camadas.
Este estudo sistemático da pré-treinamento de transformadores revela três fenômenos-chave nos espectros de valores singulares das matrizes de peso, incluindo ondas de compressão transitórias e gradientes espectrais persistentes. A pesquisa também identifica uma assimetria funcional entre as projeções Q/K e V, onde Q/K impulsiona a dinâmica dependente da profundidade.
Este artigo investiga o "alinhamento enganoso" em LLMs, onde os modelos produzem saídas falsas intencionalmente enquanto mantêm representações internas precisas, um desafio central na segurança da IA. Os pesquisadores usaram um paradigma multi-modelo com cinco arquiteturas de transformadores para detectar desonestidade sintética com alta precisão usando sondas lineares.
O eOptShrinkQ é um pipeline de compressão de duas fases para cache KV em cabeças de atenção de transformadores. Ele utiliza encolhimento de valor singular ideal e quantização escalar por vetor, fundamentado na teoria de matrizes aleatórias, para obter compressão quase sem perdas e melhorar a reconstrução.
Este conteúdo explora o mecanismo de atenção multi-cabeça em modelos de IA, focando na ideia de colaboração em vez de concatenação. Ele provavelmente discute uma abordagem alternativa para melhorar a eficiência ou o desempenho da atenção.
Esta pesquisa unifica Transformers, mapas de difusão e Laplacianos magnéticos, mostrando-os como diferentes regimes de uma única geometria de Markov. O estudo define uma "bidivergência" QK para conectar atenção e difusão, organizando suas dinâmicas com produto de especialistas e pontes de Schrödinger.
Este artigo explica por que os valores de autoatenção substituem as codificações posicionais originais, integrando informações contextuais de todas as palavras para esclarecer relações. Em seguida, introduz o empilhamento de múltiplas camadas de autoatenção, cada uma com pesos únicos, para capturar relações linguísticas mais complexas em frases e parágrafos.
Modelos de Linguagem Grandes (LLMs) operam como redes neurais que aprendem padrões em texto para gerar conteúdo, prevendo o próximo token. Essa funcionalidade poderosa é impulsionada por grandes volumes de dados, arquiteturas profundas e atenção baseada em Transformers.