Parallelism

3 items

ARTICLE↑ trendingReddit r/MachineLearning·4/12/2026

Educational PyTorch repo for distributed training from scratch: DP, FSDP, TP, FSDP+TP, and PP [P]

Dieses lehrreiche PyTorch-Repository implementiert verschiedene Techniken des verteilten Trainingsparallelismus, darunter DP, FSDP, TP und PP, von Grund auf neu. Es implementiert explizit die Vorwärts-/Rückwärtslogik und Kollektive, wodurch Benutzer die Algorithmen und Kommunikationsmuster ohne übergeordnete Abstraktionen direkt verstehen können.

distributed training FSDP deep learning Parallelism

RESEARCHDEV.to AI·5/7/2026

Stateless scheduler doubles LLM training speed

Das Feinabstimmen großer Sprachmodelle wird oft durch starre GPU-Zuweisung und ineffizienten Pipeline-Parallelismus gebremst. Ein neuer zustandsloser Scheduler, RoundPipe, optimiert das Training, indem er Rechenphasen dynamisch über einen Pool von GPUs verteilt und so die LLM-Trainingsgeschwindigkeit effektiv verdoppelt.

deep learning machine learning GPU optimization Parallelism

RESEARCHHugging Face Blog·3/9/2026

Ulysses Sequence Parallelism: Training with Million-Token Contexts

Este conteúdo aborda o paralelismo de sequência Ulysses, uma técnica inovadora para o treinamento de modelos de inteligência artificial. O foco está na capacitação de modelos para processar contextos de milhões de tokens de forma eficiente.

deep learning Long Contexts Training High-Performance Computing