multimodal learning

2 items

RESEARCHarXiv CS.LG·il y a 11j

Balancing Multimodal Learning through Label Space Reshaping

L'article aborde le déséquilibre modal dans l'apprentissage multimodal, où certaines modalités dominent l'optimisation. Il propose que cette divergence résulte de difficultés de cartographie différentes entre l'espace de caractéristiques spécifiques à la modalité et l'espace d'étiquettes partagé, introduisant BMLR pour égaliser cette difficulté.

multimodal learning Optimization learning machine learning

RESEARCHarXiv CS.LG·il y a 12j

Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey

Cet article présente une étude qui aborde les défis de l'apprentissage multimodal avec l'architecture Mixture-of-Experts (MoE). L'étude explore comment le MoE fonctionne comme un moteur efficace et un apprenant de représentations pour intégrer diverses modalités de données. Elle comble une lacune dans la littérature en offrant une revue systématique et complète sur le sujet.

multimodal learning Survey Mixture of Experts AI