← heapsort-ai

Translation

38 items

RESEARCH↑ trendingReddit r/MachineLearning·14/04/2026

We benchmarked TranslateGemma against 5 other LLMs on subtitle translation across 6 languages. At first glance the numbers told a clean story, but then human QA added a chapter. [D]

Ce contenu présente une étude comparative évaluant six grands modèles linguistiques (LLM), dont TranslateGemma-12b, pour la traduction de sous-titres de l'anglais vers six langues. Les modèles ont été classés à l'aide de métriques d'évaluation de la qualité (QE) sans référence et d'une métrique combinée personnalisée appelée TQI, où TranslateGemma-12b s'est avéré être le modèle le plus performant.

We benchmarked TranslateGemma against 5 other LLMs on subtitle translation across 6 languages. At first glance the numbers told a clean story, but then human QA added a chapter. [D]
70
RESEARCH↑ trendingReddit r/LocalLLaMA·14/04/2026

We benchmarked TranslateGemma-12b against 5 frontier LLMs on subtitle translation - it won across the board, with one significant catch

Une étude a comparé TranslateGemma-12b à cinq LLM de pointe pour la traduction de sous-titres dans six paires de langues, montrant que le modèle spécifique à la tâche a constamment surpassé les modèles généralistes. Bien que les chiffres initiaux aient indiqué une victoire nette, l'assurance qualité humaine a ajouté une nuance importante qui sera détaillée dans le rapport complet.

We benchmarked TranslateGemma-12b against 5 frontier LLMs on subtitle translation - it won across the board, with one significant catch
42
ARTICLE↑ trendingReddit r/LocalLLaMA·21/04/2026

An actual example of "If you dont run it, you dont own it" and Gemma 4 beats both Chat GPT and Gemini Chat

L'auteur raconte son expérience avec différents modèles d'IA (GPT OOS 120B, Qwen 3 Max, Chat GPT 4o) pour traduire un roman chinois, soulignant les problèmes de cohérence des noms et de censure inattendue. Chat GPT 4o était initialement le meilleur pour la précision et la qualité de la traduction, mais certains modèles ont montré une dégradation ou un filtrage au fil du temps.

35
ARTICLEDEV.to AI·il y a 18j

How I use an LLM as a translation judge

L'auteur utilise GEMBA-MQM v2, un système basé sur LLM, pour automatiser l'évaluation de la qualité des traductions, classifiant les erreurs par type et gravité. Bien qu'il présente une corrélation élevée avec les annotations humaines, le système est bruyant et nécessite plusieurs passages pour atténuer la variabilité des scores.

27