Language Acquisition Device in Large Language Models

Dieser Artikel schlägt ein vom Spracherwerbsgerät (LAD) inspiriertes Vortraining mit MP-STRUCT vor, einer formalen Sprache, die natürliche Sprachstrukturen widerspiegelt, um die Dateneffizienz großer Sprachmodelle zu verbessern. Ein kurzes Vortraining mit MP-STRUCT erreicht die Token-Effizienz starker formaler Sprach-Baselines und verleiht eine menschenähnliche Resistenz gegenüber strukturell unplausiblen Sprachen.