← heapsort-ai

representation learning

24 items

RESEARCHarXiv CS.LG·vor 13T

Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey

Dieser Artikel präsentiert eine Umfrage, die Herausforderungen des multimodalen Lernens mit der Mixture-of-Experts (MoE)-Architektur behandelt. Die Studie untersucht, wie MoE als effizienter Motor und Repräsentationslerner zur Integration verschiedener Datenmodalitäten fungiert. Sie schließt eine Lücke in der Literatur, indem sie eine umfassende und systematische Übersicht zu diesem Thema bietet.

27
RESEARCHarXiv CS.LG·4/30/2026

Mini-Batch Class Composition Bias in Link Prediction

Diese Forschung deckt eine Mini-Batch-abhängige Heuristik in beliebten GNN-basierten Link-Vorhersagemodellen auf, die durch Batch-Normalisierungsschichten ermöglicht wird. Diese Verzerrung kann dazu führen, dass die Fähigkeit der Modelle, generalisierte Graphenrepräsentationen zu lernen, überschätzt wird, anstatt die zugrunde liegenden Grapheneigenschaften zu übertragen.

27
RESEARCHarXiv CS.CL·4/8/2026

The Illusion of Latent Generalization: Bi-directionality and the Reversal Curse

Este artigo aborda a 'maldição da reversão' em modelos de linguagem autorregressivos, onde falham ao recuperar fatos em ordem inversa. A pesquisa demonstra que a precisão da reversão exige um sinal de treinamento que torne a entidade de origem um alvo de previsão, indicando armazenamento separado para direções diretas e inversas, em vez de uma representação única e agnóstica à direção.

27
RESEARCHarXiv CS.AI·4/7/2026

TABQAWORLD: Optimizing Multimodal Reasoning for Multi-Turn Table Question Answering

TABQAWORLD é um novo framework para otimizar o raciocínio multimodal em perguntas e respostas sobre tabelas multi-turn. Ele aborda erros de representação e altos custos de inferência ao empregar uma política de seleção multimodal que alterna dinamicamente entre representações visuais e textuais para maximizar a confiabilidade do estado da tabela.

27