LLM memorization

NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models

Dieses Papier stellt NumLeak vor, ein Messrahmen zur Bewertung des auswendig gelernten Abrufs in Basismodellen mittels öffentlicher numerischer Benchmarks. Es zeigt, dass führende LLMs Finanz- und Wirtschaftsdaten mit hoher Genauigkeit abrufen, was darauf hindeutet, dass Bewertungen möglicherweise das Auswendiglernen statt echter Fähigkeiten messen.