Position: Let's Develop Data Probes to Fundamentally Understand How Data Affects LLM Performance

Este documento de posición aboga por el desarrollo de metodologías sistemáticas para generar secuencias sintéticas, denominadas 'sondas de datos', con el fin de comprender fundamentalmente cómo las características de los datos afectan el rendimiento de los LLM en diversas etapas. El objetivo es superar los enfoques empíricos actuales, que requieren mucho cálculo, proporcionando una forma basada en principios para comprender el comportamiento del modelo.