Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models

Cette recherche aborde l'écart Stabilité-Expressivité dans les Modèles de Langage Parlé (SLM) pour les langues à faibles ressources, causé par l'utilisation intensive de données synthétiques. Bien que les données synthétiques améliorent la précision phonétique, elles dégradent l'expressivité prosodique, un phénomène appelé Érosion Synthétique. L'article introduit des cadres d'auto-alignement pour récupérer l'expressivité.