Parcae: Doing more with fewer parameters using stable looped models

Parcae est un modèle de langage stable en boucle qui égale la qualité des Transformers deux fois plus grands avec moins de paramètres. Il introduit les premières lois de mise à l'échelle pour le bouclage, montrant que l'augmentation de la récurrence est une voie efficace en termes de calcul pour de meilleures performances.