Alibaba + Nanjing Univ Claim 9.36X Faster Million-Token Prefill vs FlashAttention-2

Investigadores de Alibaba y la Universidad de Nanjing afirman una aceleración de 9.36X en el prellenado de millones de tokens para la inferencia de LLM de contexto largo, superando a FlashAttention-2. Este avance aborda el cuello de botella de latencia dominante en el procesamiento de prompts extensos, donde el cálculo de atención escala cuadráticamente.