Triton

Building a Bit-Accurate Fused QKV + RoPE Kernel for Qwen 2.5 in Triton

Este artículo describe la creación de un kernel Triton de precisión de bits para Qwen 2.5, fusionando la proyección QKV, RoPE y la escritura en caché KV en una única operación. Logra una aceleración de 4,5 a 5 veces sobre múltiples operaciones de PyTorch, manteniendo la precisión exacta de la salida.