Transformer

10 items

ARTICLE↑ trendingReddit r/MachineLearning·23/04/2026

Optimizing Transformer model size & inference beyond FP16 + ONNX (pruning/graph opt didn’t help much) [P]

L'utilisateur optimise un modèle Transformer pour la taille et la vitesse d'inférence, ayant atteint un plateau après FP16 et ONNX, avec un pruning peu efficace. Il demande conseil sur des techniques avancées comme la factorisation de rang faible, la quantification agressive ou la distillation de connaissances pour des améliorations concrètes.

Pruning inference Transformer quantization

ARTICLEDEV.to AI·23/04/2026

Building a Bit-Accurate Fused QKV + RoPE Kernel for Qwen 2.5 in Triton

Cet article décrit la création d'un noyau Triton bit-précis pour Qwen 2.5, fusionnant la projection QKV, RoPE et l'écriture du cache KV en une seule opération. Il offre un gain de vitesse de 4,5 à 5 fois par rapport à plusieurs opérations PyTorch, tout en maintenant une précision de sortie exacte.

GPU computing Transformer AI optimization Triton

ARTICLEDEV.to AI·10/04/2026

"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.

O artigo explora a importância do paper 'Attention Is All You Need' de 2017, que revolucionou a IA ao introduzir a arquitetura Transformer, base de modelos como ChatGPT. Ele detalha como essa inovação superou as limitações das redes neurais recorrentes, permitindo que computadores compreendam e gerem linguagem humana com maior eficiência.

Attention Is All You Need Transformer ChatGPT NLP

RESEARCHarXiv CS.CL·10/04/2026

Hybrid CNN-Transformer Architecture for Arabic Speech Emotion Recognition

Este artigo apresenta um sistema de Reconhecimento de Emoção da Fala (SER) em árabe, baseado em uma arquitetura híbrida CNN-Transformer. O modelo combina camadas convolucionais para extração de características espectrais e codificadores Transformer para capturar dependências temporais, alcançando 97,8% de precisão e 0,98 de F1-score macro.

CNN deep learning Transformer machine learning

ARTICLEDEV.to AI·25/04/2026

The hidden engine behind the AI Revolution: The Transformer

Le véritable moteur derrière la révolution de l'IA n'est pas ChatGPT, mais l'architecture Transformer, introduite par l'article « Attention Is All You Need ». Cette innovation a permis le traitement parallèle massif du langage, utilisant les GPU et changeant fondamentalement la compréhension des machines.

AI history deep learning Transformer NLP

ARTICLEDEV.to AI·07/05/2026

The Transformer: The Architecture Behind Modern AI

L'architecture Transformer, introduite par Vaswani en 2017, a marqué un changement pivot dans l'IA, passant du traitement séquentiel à la compréhension parallèle grâce à son mécanisme d'attention. Cette innovation permet aux modèles de traiter le sens et le contexte simultanément, similaire à penser directement dans une langue.

AI architecture Attention Mechanism Transformer machine learning

DOCDEV.to AI·il y a 27j

Transformer Neural Network Architecture Diagram — A Visual Guide for Engineers

Ce guide visuel explique l'architecture du réseau neuronal Transformer, couvrant le mécanisme d'attention et la structure encodeur-décodeur. Il démontre comment les Transformers ont surpassé les modèles RNN précédents en introduisant le traitement parallèle et l'auto-attention, devenant la base des LLM modernes comme BERT et GPT.

neural networks deep learning learning Transformer

RESEARCHDEV.to AI·26/04/2026

Transformer-Transducer: End-to-End Speech Recognition with Self-Attention

Ce contenu décrit le modèle Transformer-Transducer, une nouvelle architecture pour la reconnaissance vocale de bout en bout qui utilise le mécanisme d'auto-attention des Transformers. Il vise à améliorer la précision et l'efficacité de la transcription du langage parlé directement en texte.

deep learning Transformer Speech Recognition

RESEARCHDEV.to AI·il y a 11j

Sleep Phase Cuts Transformer Costs by Consolidating Memory

Un nouvel article propose une phase de "sommeil" pour les modèles de langage, consolidant le contexte en mémoire de taille fixe. Cela réduit les coûts d'inférence quadratiques et améliore les performances sur les tâches à long terme.

language models inference Transformer memory

RESEARCHYannic Kilcher (YouTube)·01/11/2025

[Paper Analysis] The Free Transformer (and some Variational Autoencoder stuff)

Ce contenu propose une analyse approfondie d'un article sur "The Free Transformer" et les concepts liés aux Variational Autoencoders. Il explore des aspects techniques avancés des architectures de modèles d'IA.

AI models deep learning Transformer Variational Autoencoder

[Paper Analysis] The Free Transformer (and some Variational Autoencoder stuff)