Stateless scheduler doubles LLM training speed

El ajuste fino de grandes modelos de lenguaje a menudo enfrenta cuellos de botella debido a la asignación rígida de GPU y el paralelismo de pipeline ineficiente. Un nuevo programador sin estado, RoundPipe, optimiza el entrenamiento al despachar dinámicamente las etapas de computación a través de un pool de GPUs, duplicando efectivamente la velocidad de entrenamiento de LLMs.