RESEARCHarXiv CS.CL·hace 22d
Language Acquisition Device in Large Language Models
Este artículo propone un preentrenamiento inspirado en el Dispositivo de Adquisición del Lenguaje (LAD) utilizando MP-STRUCT, un lenguaje formal que refleja estructuras del lenguaje natural, para mejorar la eficiencia de datos de los Grandes Modelos de Lenguaje. Un breve preentrenamiento con MP-STRUCT iguala la eficiencia de tokens de sólidas bases de lenguajes formales y confiere una resistencia similar a la humana a lenguajes estructuralmente implausibles.
27