Evaluation Revisited: A Taxonomy of Evaluation Concerns in Natural Language Processing

Angesichts der jüngsten Fortschritte bei LLMs führt dieses Papier eine umfassende Überprüfung der langen Geschichte methodologischer Reflexionen in der NLP über Bewertungsbelange durch. Es entwickelt eine Taxonomie, die wiederkehrende Positionen und Kompromisse synthetisiert, und bietet eine strukturierte Checkliste zur Unterstützung einer bewussteren Bewertungsgestaltung und -interpretation.