Pre-pretraining

Language Acquisition Device in Large Language Models

Este artigo propõe um pré-treinamento inspirado no Dispositivo de Aquisição da Linguagem (LAD) usando MP-STRUCT, uma linguagem formal que reflete estruturas de linguagem natural, para melhorar a eficiência de dados de Modelos de Linguagem Grandes. Um breve pré-treinamento com MP-STRUCT atinge a eficiência de token de fortes linhas de base de linguagem formal e confere uma resistência humana a linguagens estruturalmente implausíveis.