DiLoCo

QIS vs DiLoCo: Why Google's Distributed Training Breakthrough and Quadratic Intelligence Swarm Solve Completely Different Problems

O artigo diferencia as soluções de treinamento distribuído da Google (DiLoCo/DiPaCo) do protocolo Quadratic Intelligence Swarm (QIS), destacando que abordam problemas fundamentalmente distintos. Enquanto as ferramentas da Google otimizam o treinamento de modelos únicos em larga escala, o QIS foca no roteamento de resultados de aprendizado entre múltiplas instituições sem centralizar dados.