How I use an LLM as a translation judge

L'auteur utilise GEMBA-MQM v2, un système basé sur LLM, pour automatiser l'évaluation de la qualité des traductions, classifiant les erreurs par type et gravité. Bien qu'il présente une corrélation élevée avec les annotations humaines, le système est bruyant et nécessite plusieurs passages pour atténuer la variabilité des scores.