LLM memorization

NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models

Este artigo apresenta o NumLeak, uma estrutura para medir a recuperação de informações memorizadas por modelos de fundação a partir de benchmarks numéricos públicos. Ele revela que LLMs de ponta recordam dados financeiros e econômicos com alta fidelidade, sugerindo que as avaliações podem estar medindo a memorização em vez de habilidades genuínas.