We benchmarked TranslateGemma against 5 other LLMs on subtitle translation across 6 languages. At first glance the numbers told a clean story, but then human QA added a chapter. [D]

Dieser Inhalt präsentiert eine Benchmark-Studie, die sechs große Sprachmodelle (LLMs), darunter TranslateGemma-12b, bei der Übersetzung englischer Untertitel in sechs Sprachen bewertet. Die Modelle wurden anhand referenzfreier Qualitätsbewertungsmetriken (QE) und einer maßgeschneiderten kombinierten Metrik namens TQI eingestuft, wobei TranslateGemma-12b insgesamt das leistungsstärkste Modell war.