Alibaba + Nanjing Univ Claim 9.36X Faster Million-Token Prefill vs FlashAttention-2

Forscher von Alibaba und der Nanjing-Universität behaupten eine 9,36-fache Beschleunigung beim Vorfüllen von Millionen von Tokens für die Inferenz von Langkontext-LLMs im Vergleich zu FlashAttention-2. Dieser Durchbruch adressiert den dominierenden Latenz-Engpass bei der Verarbeitung großer Prompts, wo die Aufmerksamkeitsberechnung typischerweise quadratisch skaliert.