We benchmarked TranslateGemma-12b against 5 frontier LLMs on subtitle translation - it won across the board, with one significant catch

Une étude a comparé TranslateGemma-12b à cinq LLM de pointe pour la traduction de sous-titres dans six paires de langues, montrant que le modèle spécifique à la tâche a constamment surpassé les modèles généralistes. Bien que les chiffres initiaux aient indiqué une victoire nette, l'assurance qualité humaine a ajouté une nuance importante qui sera détaillée dans le rapport complet.