FlashAttention (FA1–FA4) in PyTorch - educational implementations focused on algorithmic differences [P]

Este conteúdo anuncia um repositório PyTorch atualizado com implementações educacionais das versões FA1 a FA4 do FlashAttention, focadas em demonstrar suas diferenças algorítmicas. O objetivo é facilitar o entendimento da evolução do algoritmo, expondo as ideias de design sem se aprofundar em detalhes de hardware.