O artigo apresenta o Vertex-Softmax, um novo método para verificação certificada da atenção de transformadores, otimizando exatamente a função softmax. Ele prova que o ótimo é atingido em um vértice da caixa de restrição, resultando em um limite mais rigoroso.
Pesquisadores descobriram que o desempenho de modelos de linguagem pode melhorar significativamente quando camadas mais profundas aprendem vetores de valor sem contexto, preservando informações de token originais. Isso elimina a necessidade de recomputar ou armazenar em cache persistentemente esses valores, uma vez que o componente dependente do contexto oferece pouco benefício adicional.
O artigo apresenta o Tensor Cache, um cache de dois níveis para Transformers que otimiza as caches KV. Ele combina atenção softmax de janela deslizante (L1) com uma memória de produto externo de tamanho fixo (L2) para gerenciar tokens desalojados, melhorando o acesso a evidências relevantes fora da janela de contexto.
Esta pesquisa introduz os Transformers Verificáveis, uma estrutura para converter circuitos de Transformer localizados por tarefa em afirmações limitadas e verificáveis por solver. Permite a verificação de propriedades como equivalência funcional e robustez através de codificação SMT direta ou mediada por substituto.
O artigo explica que os Transformers reutilizam o mesmo conjunto de pesos para consultas, chaves e valores em todas as palavras de entrada, o que permite a computação paralela. Esta reutilização torna o mecanismo de autoatenção altamente eficiente.
PaddleOCR 3.5 permite a execução de tarefas de OCR e análise de documentos. Esta versão utiliza um backend baseado em Transformers para melhorar o processamento.
Este artigo explora a ideia de que, apesar de sua complexidade, os modelos Transformer podem exibir propriedades lineares ou ser equivalentes a eles em certos aspectos. A discussão aprofunda a natureza fundamental desses modelos de IA e suas implicações.
Este artigo detalha o cálculo da similaridade entre consultas (queries) e chaves (keys) em Transformers utilizando o produto escalar, demonstrando como a similaridade de uma palavra consigo mesma é maior do que com outras. Ele explica que essas pontuações são posteriormente transformadas em pesos significativos através de uma função softmax.
Este artigo apresenta o Focus, um método inovador que aprende quais pares de tokens são relevantes em mecanismos de atenção, em vez de aproximar todos. Ele melhora a perplexidade do domínio e oferece até 2x de aceleração na inferência, superando a atenção completa em diversas escalas e arquiteturas.
FTimeXer é um Transformer de séries temporais com consciência de frequência proposto para previsão robusta da pegada de carbono da rede elétrica. Ele aborda a não-estacionariedade e entradas exógenas irregulares através de uma ramificação de frequência baseada em FFT e um esquema de treinamento robusto.
Este estudo investiga estratégias de aumento de dados para melhorar a classificação de texto baseada em transformadores na pontuação automatizada de explicações científicas de alunos, visando o desequilíbrio de classes. Ele avalia métodos como respostas geradas por GPT-4, EASE e ALP contra uma linha de base SciBERT, usando um conjunto de dados de 1.466 respostas de ensino médio.
Mamba-3 é apresentado como um novo Modelo de Espaço de Estados (SSM) de código aberto, otimizado para inferência. Ele se destaca por ser mais rápido que os Transformers na decodificação e mais potente que seu predecessor, Mamba-2.
Este conteúdo explora as Incorporações Posicionais Rotativas (RoPE) usadas em arquiteturas de transformadores. Ele visa aprofundar a compreensão sobre como o RoPE funciona e sua importância na modelagem de sequências.
Este conteúdo explica claramente os Transformers apenas com codificador, como o BERT, e seu uso em sistemas de Geração Aumentada por Recuperação (RAG). Aborda os conceitos fundamentais para entender como esses modelos contribuem para a eficácia do RAG.
Este conteúdo oferece um mergulho diário em tópicos de Machine Learning, focando no modelo Transformer do capítulo de Fundamentos de PNL. Ele explica o papel do Transformer no tratamento de dados sequenciais e sua importância para tarefas como tradução de idiomas, resumo de texto e análise de sentimentos.
Este conteúdo aborda o conceito de Mixture of Experts (MoEs) e sua aplicação em arquiteturas de Transformers. A técnica visa otimizar a eficiência e o desempenho de modelos de inteligência artificial.