Position: Let's Develop Data Probes to Fundamentally Understand How Data Affects LLM Performance

Dieses Positionspapier plädiert für die Entwicklung systematischer Methoden zur Generierung synthetischer Sequenzen, sogenannter 'Datensonden', um grundlegend zu verstehen, wie Datenmerkmale die LLM-Leistung in verschiedenen Phasen beeinflussen. Ziel ist es, über derzeitige rechenintensive empirische Ansätze hinauszugehen und einen prinzipientreuen Weg zum Verständnis des Modellverhaltens zu bieten.