Transformer

10 items

ARTICLE↑ trendingReddit r/MachineLearning·23/4/2026

Optimizing Transformer model size & inference beyond FP16 + ONNX (pruning/graph opt didn’t help much) [P]

El usuario optimiza un modelo Transformer para tamaño y velocidad de inferencia, pero ha alcanzado una meseta tras FP16 y ONNX, sin ganancias significativas con poda u optimizaciones de grafo. Busca orientación sobre siguientes pasos como factorización de bajo rango, cuantificación agresiva o destilación de conocimiento para mejoras reales.

Pruning inference Transformer quantization

ARTICLEDEV.to AI·23/4/2026

Building a Bit-Accurate Fused QKV + RoPE Kernel for Qwen 2.5 in Triton

Este artículo describe la creación de un kernel Triton de precisión de bits para Qwen 2.5, fusionando la proyección QKV, RoPE y la escritura en caché KV en una única operación. Logra una aceleración de 4,5 a 5 veces sobre múltiples operaciones de PyTorch, manteniendo la precisión exacta de la salida.

GPU computing Transformer AI optimization Triton

ARTICLEDEV.to AI·10/4/2026

"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.

O artigo explora a importância do paper 'Attention Is All You Need' de 2017, que revolucionou a IA ao introduzir a arquitetura Transformer, base de modelos como ChatGPT. Ele detalha como essa inovação superou as limitações das redes neurais recorrentes, permitindo que computadores compreendam e gerem linguagem humana com maior eficiência.

Attention Is All You Need Transformer ChatGPT NLP

RESEARCHarXiv CS.CL·10/4/2026

Hybrid CNN-Transformer Architecture for Arabic Speech Emotion Recognition

Este artigo apresenta um sistema de Reconhecimento de Emoção da Fala (SER) em árabe, baseado em uma arquitetura híbrida CNN-Transformer. O modelo combina camadas convolucionais para extração de características espectrais e codificadores Transformer para capturar dependências temporais, alcançando 97,8% de precisão e 0,98 de F1-score macro.

CNN deep learning Transformer machine learning

ARTICLEDEV.to AI·25/4/2026

The hidden engine behind the AI Revolution: The Transformer

El verdadero motor detrás de la revolución de la IA no es ChatGPT, sino la arquitectura Transformer, introducida por el artículo "Attention Is All You Need". Esta innovación permitió el procesamiento masivo paralelo del lenguaje, utilizando GPUs y cambiando fundamentalmente cómo las máquinas entienden el lenguaje.

AI history deep learning Transformer NLP

ARTICLEDEV.to AI·7/5/2026

The Transformer: The Architecture Behind Modern AI

La arquitectura Transformer, introducida por Vaswani en 2017, marcó un cambio fundamental en la IA, pasando del procesamiento secuencial a la comprensión paralela mediante su mecanismo de atención. Esta innovación permite a los modelos procesar significado y contexto simultáneamente, similar a pensar directamente en un idioma.

AI architecture Attention Mechanism Transformer machine learning

DOCDEV.to AI·hace 27d

Transformer Neural Network Architecture Diagram — A Visual Guide for Engineers

Esta guía visual explica la arquitectura de la red neuronal Transformer, cubriendo el mecanismo de atención y la estructura codificador-decodificador. Demuestra cómo los Transformers superaron a los modelos RNN anteriores al introducir el procesamiento paralelo y la autoatención, convirtiéndose en la base de los LLM modernos como BERT y GPT.

neural networks deep learning learning Transformer

RESEARCHDEV.to AI·26/4/2026

Transformer-Transducer: End-to-End Speech Recognition with Self-Attention

Este contenido describe el modelo Transformer-Transducer, una arquitectura novedosa para el reconocimiento de voz de extremo a extremo que aprovecha el mecanismo de autoatención de los Transformers. Se centra en mejorar la precisión y eficiencia de la transcripción del lenguaje hablado directamente a texto.

deep learning Transformer Speech Recognition

RESEARCHDEV.to AI·hace 11d

Sleep Phase Cuts Transformer Costs by Consolidating Memory

Un nuevo artículo propone una fase de "sueño" para modelos de lenguaje, consolidando el contexto en memoria de tamaño fijo. Esto reduce el costo de inferencia cuadrático y mejora el rendimiento en tareas de horizonte largo.

language models inference Transformer memory

RESEARCHYannic Kilcher (YouTube)·1/11/2025

[Paper Analysis] The Free Transformer (and some Variational Autoencoder stuff)

Este contenido ofrece un análisis profundo de un artículo sobre "The Free Transformer" y conceptos relacionados con los Variational Autoencoders. Explora aspectos técnicos avanzados de las arquitecturas de modelos de IA.

AI models deep learning Transformer Variational Autoencoder

[Paper Analysis] The Free Transformer (and some Variational Autoencoder stuff)