Parallelism

3 items

ARTICLE↑ trendingReddit r/MachineLearning·12/04/2026

Educational PyTorch repo for distributed training from scratch: DP, FSDP, TP, FSDP+TP, and PP [P]

Ce dépôt éducatif PyTorch implémente diverses techniques de parallélisme pour l'entraînement distribué (DP, FSDP, TP, PP) à partir de zéro. Il expose explicitement la logique de forward/backward et les collectifs, permettant de comprendre directement les algorithmes et les modèles de communication sans abstractions de haut niveau.

distributed training FSDP deep learning Parallelism

RESEARCHDEV.to AI·07/05/2026

Stateless scheduler doubles LLM training speed

Le réglage fin des grands modèles de langage est souvent ralenti par l'allocation rigide des GPU et le parallélisme de pipeline inefficace. Un nouveau planificateur sans état, RoundPipe, optimise l'entraînement en répartissant dynamiquement les étapes de calcul sur un pool de GPU, doublant ainsi efficacement la vitesse d'entraînement des LLM.

deep learning machine learning GPU optimization Parallelism

RESEARCHHugging Face Blog·09/03/2026

Ulysses Sequence Parallelism: Training with Million-Token Contexts

Este conteúdo aborda o paralelismo de sequência Ulysses, uma técnica inovadora para o treinamento de modelos de inteligência artificial. O foco está na capacitação de modelos para processar contextos de milhões de tokens de forma eficiente.

deep learning Long Contexts Training High-Performance Computing