Triton

Building a Bit-Accurate Fused QKV + RoPE Kernel for Qwen 2.5 in Triton

Dieser Artikel beschreibt die Erstellung eines bitgenauen Triton-Kernels für Qwen 2.5, der QKV-Projektion, RoPE und KV-Cache-Schreiben in einem einzigen Vorgang zusammenführt. Er erzielt eine 4,5- bis 5-fache Beschleunigung gegenüber mehreren PyTorch-Operationen, während die exakte Ausgabegenauigkeit erhalten bleibt.