Position: Let's Develop Data Probes to Fundamentally Understand How Data Affects LLM Performance

Ce document de position préconise le développement de méthodologies systématiques pour générer des séquences synthétiques, appelées 'sondes de données', afin de comprendre fondamentalement comment les caractéristiques des données affectent les performances des LLM à différentes étapes. L'objectif est de dépasser les approches empiriques actuelles, gourmandes en calcul, en offrant un moyen fondé sur des principes pour appréhender le comportement des modèles.