gradient optimization

BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation"

Este artigo apresenta o BASIS, um algoritmo eficiente de retropropagação que resolve o gargalo de memória O(L * BN) em redes neurais profundas. Ele desacopla a memória de ativação das dimensões de lote e sequência, preservando o sinal de erro exato enquanto calcula atualizações de peso com tensores compactados e introduzindo mecanismos para estabilizar gradientes.