multimodal learning

2 items

RESEARCHarXiv CS.LG·hace 11d

Balancing Multimodal Learning through Label Space Reshaping

El artículo aborda el desequilibrio de modalidades en el aprendizaje multimodal, donde algunas modalidades dominan la optimización. Propone que esta discrepancia surge de diferentes dificultades de mapeo entre el espacio de características específicas de la modalidad y el espacio de etiquetas compartido, introduciendo BMLR para igualar esta dificultad.

multimodal learning Optimization learning machine learning

RESEARCHarXiv CS.LG·hace 12d

Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey

Este artículo presenta una encuesta que aborda los desafíos del aprendizaje multimodal con la arquitectura Mixture-of-Experts (MoE). El estudio explora cómo MoE funciona como un motor eficiente y un aprendiz de representación para integrar diversas modalidades de datos. Llena un vacío en la literatura al ofrecer una revisión sistemática y exhaustiva sobre el tema.

multimodal learning Survey Mixture of Experts AI