RESEARCHarXiv CS.LG·vor 8T
NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models
Dieses Papier stellt NumLeak vor, ein Messrahmen zur Bewertung des auswendig gelernten Abrufs in Basismodellen mittels öffentlicher numerischer Benchmarks. Es zeigt, dass führende LLMs Finanz- und Wirtschaftsdaten mit hoher Genauigkeit abrufen, was darauf hindeutet, dass Bewertungen möglicherweise das Auswendiglernen statt echter Fähigkeiten messen.
29