multimodal learning

2 items

RESEARCHarXiv CS.LG·11d atrás

Balancing Multimodal Learning through Label Space Reshaping

O artigo aborda o desequilíbrio de modalidades na aprendizagem multimodal, onde algumas modalidades dominam a otimização. Ele propõe que essa discrepância surge de diferentes dificuldades de mapeamento entre o espaço de características específicas da modalidade e o espaço de rótulos compartilhado, introduzindo o BMLR para equalizar essa dificuldade.

multimodal learning Optimization learning machine learning

RESEARCHarXiv CS.LG·12d atrás

Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey

Este artigo apresenta uma pesquisa que aborda os desafios da aprendizagem multimodal utilizando a arquitetura Mixture-of-Experts (MoE). O estudo explora como o MoE funciona como um motor eficiente e um aprendiz de representação para integrar diversas modalidades de dados. Ele preenche uma lacuna na literatura ao oferecer uma revisão sistemática e abrangente sobre o tema.

multimodal learning Survey Mixture of Experts AI