We benchmarked TranslateGemma against 5 other LLMs on subtitle translation across 6 languages. At first glance the numbers told a clean story, but then human QA added a chapter. [D]

Ce contenu présente une étude comparative évaluant six grands modèles linguistiques (LLM), dont TranslateGemma-12b, pour la traduction de sous-titres de l'anglais vers six langues. Les modèles ont été classés à l'aide de métriques d'évaluation de la qualité (QE) sans référence et d'une métrique combinée personnalisée appelée TQI, où TranslateGemma-12b s'est avéré être le modèle le plus performant.