gradient optimization

BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation"

Cet article introduit BASIS, un algorithme de rétropropagation efficace qui résout le goulot d'étranglement de la mémoire O(L * BN) dans les réseaux neuronaux profonds. Il découple entièrement la mémoire d'activation des dimensions de lot et de séquence, conservant un signal d'erreur exact tout en calculant les mises à jour de poids avec des tenseurs fortement compressés, et propose de nouveaux mécanismes pour stabiliser les gradients.