Automated Evaluation

Should We be Pedantic About Reasoning Errors in Machine Translation?

Cette étude identifie et quantifie les erreurs de raisonnement dans la traduction automatique sur plusieurs paires de langues, en utilisant un protocole d'annotation automatisé. Les expériences avec des interventions sur les traces de raisonnement suggèrent que des corrections fortes améliorent la résolution des erreurs, bien qu'avec des gains mitigés en qualité de traduction.