MP-STRUCT

Language Acquisition Device in Large Language Models

Este artículo propone un preentrenamiento inspirado en el Dispositivo de Adquisición del Lenguaje (LAD) utilizando MP-STRUCT, un lenguaje formal que refleja estructuras del lenguaje natural, para mejorar la eficiencia de datos de los Grandes Modelos de Lenguaje. Un breve preentrenamiento con MP-STRUCT iguala la eficiencia de tokens de sólidas bases de lenguajes formales y confiere una resistencia similar a la humana a lenguajes estructuralmente implausibles.