Balancing Multimodal Learning through Label Space Reshaping

L'article aborde le déséquilibre modal dans l'apprentissage multimodal, où certaines modalités dominent l'optimisation. Il propose que cette divergence résulte de difficultés de cartographie différentes entre l'espace de caractéristiques spécifiques à la modalité et l'espace d'étiquettes partagé, introduisant BMLR pour égaliser cette difficulté.