The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints

Die Verarbeitung natürlicher Sprache (NLP) mit geringen Ressourcen hat ein explosives Wachstum erfahren, doch ihre Bewertung steht vor einer kritischen Herausforderung: die Knappheit soziolinguistischer Expertise, die zur Bewertung komplexer generativer Systeme erforderlich ist. Dies führt zum "Annotations-Knappheitsparadoxon", bei dem die technische Kapazität zur Skalierung von Modellen die souveräne menschliche Infrastruktur für eine authentische Bewertung übertrifft.