Triton

Building a Bit-Accurate Fused QKV + RoPE Kernel for Qwen 2.5 in Triton

Cet article décrit la création d'un noyau Triton bit-précis pour Qwen 2.5, fusionnant la projection QKV, RoPE et l'écriture du cache KV en une seule opération. Il offre un gain de vitesse de 4,5 à 5 fois par rapport à plusieurs opérations PyTorch, tout en maintenant une précision de sortie exacte.