Ce dépôt éducatif PyTorch implémente diverses techniques de parallélisme pour l'entraînement distribué (DP, FSDP, TP, PP) à partir de zéro. Il expose explicitement la logique de forward/backward et les collectifs, permettant de comprendre directement les algorithmes et les modèles de communication sans abstractions de haut niveau.
Macrocosmos a présenté ResBM, une nouvelle architecture de transformateur conçue pour l'entraînement parallèle en pipeline à faible bande passante. Elle permet une compression d'activation de 128x sans perte significative de convergence.
Sign-Muon est un nouvel optimiseur matriciel à 1 bit proposé pour l'entraînement distribué économe en communication de grands réseaux neuronaux. Il combine l'agrégation de signes avec un cadre de pas polaire, atteignant un taux non convexe de O(1/√T) et réduisant le terme stochastique par 1/√M pour M travailleurs.
Cet article différencie les solutions d'entraînement distribué de Google (DiLoCo/DiPaCo) du protocole Quadratic Intelligence Swarm (QIS). Il souligne que les outils de Google optimisent l'entraînement de modèles uniques à grande échelle, tandis que QIS se concentre sur le routage décentralisé des résultats d'apprentissage entre plusieurs institutions sans centraliser les données.