LLM memorization

NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models

Cet article introduit NumLeak, un cadre de mesure de la mémorisation chez les modèles de fondation à partir de benchmarks numériques publics. Il révèle que les LLM de premier plan rappellent des données financières et économiques avec une grande fidélité, suggérant que l'évaluation pourrait mesurer la mémorisation plutôt que des compétences réelles.