DiLoCo

QIS vs DiLoCo: Why Google's Distributed Training Breakthrough and Quadratic Intelligence Swarm Solve Completely Different Problems

Cet article différencie les solutions d'entraînement distribué de Google (DiLoCo/DiPaCo) du protocole Quadratic Intelligence Swarm (QIS). Il souligne que les outils de Google optimisent l'entraînement de modèles uniques à grande échelle, tandis que QIS se concentre sur le routage décentralisé des résultats d'apprentissage entre plusieurs institutions sans centraliser les données.