Position: Let's Develop Data Probes to Fundamentally Understand How Data Affects LLM Performance

Este artigo de posição defende o desenvolvimento de metodologias sistemáticas para gerar sequências sintéticas, chamadas 'sondas de dados', para entender fundamentalmente como as características dos dados afetam o desempenho dos LLMs em várias etapas. O objetivo é superar as abordagens atuais intensivas em computação, fornecendo uma maneira mais inteligente de compreender o comportamento dos modelos.