Educational PyTorch repo for distributed training from scratch: DP, FSDP, TP, FSDP+TP, and PP [P]

Dieses lehrreiche PyTorch-Repository implementiert verschiedene Techniken des verteilten Trainingsparallelismus, darunter DP, FSDP, TP und PP, von Grund auf neu. Es implementiert explizit die Vorwärts-/Rückwärtslogik und Kollektive, wodurch Benutzer die Algorithmen und Kommunikationsmuster ohne übergeordnete Abstraktionen direkt verstehen können.