Automated Scoring

From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment

Diese Forschung schlägt einen Rahmen für die Satzebenen-Interpretierbarkeit bei der rubrikbasierten Bewertung vor, der Shapley-Wert-Attributionen mit Rationalen von großen Sprachmodellen (LLMs) kombiniert. Er vergleicht feinabgestimmte vortrainierte Sprachmodelle und gepromptete LLMs zur Bewertung der Unterrichtsqualität und stellt fest, dass PLMs trotz Label-Kompression eine bessere Vorhersagegenauigkeit bieten.