multimodal learning

2 items

RESEARCHarXiv CS.LG·vor 11T

Balancing Multimodal Learning through Label Space Reshaping

Der Artikel behandelt das Modalitätenungleichgewicht beim multimodalen Lernen, bei dem einige Modalitäten die Optimierung dominieren. Er schlägt vor, dass diese Diskrepanz aus unterschiedlichen Schwierigkeiten bei der Abbildung zwischen modalitätsspezifischen Merkmalsräumen und dem gemeinsamen Labelraum resultiert, und führt BMLR ein, um diese Schwierigkeit auszugleichen.

multimodal learning Optimization learning machine learning

RESEARCHarXiv CS.LG·vor 12T

Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey

Dieser Artikel präsentiert eine Umfrage, die Herausforderungen des multimodalen Lernens mit der Mixture-of-Experts (MoE)-Architektur behandelt. Die Studie untersucht, wie MoE als effizienter Motor und Repräsentationslerner zur Integration verschiedener Datenmodalitäten fungiert. Sie schließt eine Lücke in der Literatur, indem sie eine umfassende und systematische Übersicht zu diesem Thema bietet.

multimodal learning Survey Mixture of Experts AI