How I use an LLM as a translation judge

Der Autor nutzt GEMBA-MQM v2, ein LLM-basiertes System, zur automatischen Bewertung der Übersetzungsqualität, das Fehler nach Typ und Schweregrad klassifiziert. Obwohl es eine hohe Korrelation mit menschlichen Annotationen aufweist, ist das System anfällig für Rauschen und erfordert mehrere Durchläufe, um die Variabilität der Bewertungen zu mindern.