Pre-pretraining

Language Acquisition Device in Large Language Models

Cet article propose un pré-entraînement inspiré du Dispositif d'Acquisition du Langage (LAD) en utilisant MP-STRUCT, un langage formel qui reflète les structures du langage naturel, afin d'améliorer l'efficacité des données des Grands Modèles de Langage. Un bref pré-entraînement avec MP-STRUCT atteint l'efficacité des tokens des références de langages formels solides et confère une résistance similaire à celle des humains aux langages structurellement invraisemblables.