We benchmarked TranslateGemma against 5 other LLMs on subtitle translation across 6 languages. At first glance the numbers told a clean story, but then human QA added a chapter. [D]
Ce contenu présente une étude comparative évaluant six grands modèles linguistiques (LLM), dont TranslateGemma-12b, pour la traduction de sous-titres de l'anglais vers six langues. Les modèles ont été classés à l'aide de métriques d'évaluation de la qualité (QE) sans référence et d'une métrique combinée personnalisée appelée TQI, où TranslateGemma-12b s'est avéré être le modèle le plus performant.
![We benchmarked TranslateGemma against 5 other LLMs on subtitle translation across 6 languages. At first glance the numbers told a clean story, but then human QA added a chapter. [D]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://preview.redd.it/h6gfrd0ew4vg1.jpg?width=140&height=140&crop=1:1,smart&auto=webp&s=d586892e18bb809fa52e1595acdd73dd93bcdd8a)
