We benchmarked TranslateGemma against 5 other LLMs on subtitle translation across 6 languages. At first glance the numbers told a clean story, but then human QA added a chapter. [D]

Este contenido presenta un estudio comparativo que evaluó seis Grandes Modelos de Lenguaje (LLMs), incluyendo TranslateGemma-12b, en la traducción de subtítulos del inglés a seis idiomas. Los modelos fueron clasificados utilizando métricas de Evaluación de Calidad (QE) sin referencia y una métrica combinada personalizada llamada TQI, donde TranslateGemma-12b resultó ser el modelo con mejor rendimiento general.