We benchmarked TranslateGemma-12b against 5 frontier LLMs on subtitle translation - it won across the board, with one significant catch

Eine Studie verglich TranslateGemma-12b mit fünf führenden LLMs bei der Untertitelübersetzung für sechs Sprachpaare und zeigte, dass das aufgabenspezifische Modell allgemeine Modelle durchweg übertraf. Obwohl erste Zahlen einen klaren Sieg andeuteten, ergab die menschliche Qualitätssicherung einen erheblichen Haken, der im vollständigen Bericht detailliert beschrieben wird.