PathoSage é uma estrutura de três estágios que aborda a adjudicação de evidências em patologia, separando explicitamente a recuperação de conhecimento, coleta e adjudicação de evidências. Ela utiliza um sistema agêntico com Deliberação Estruturada de Evidências para avaliar de forma independente dados heterogêneos e reduzir vieses.
O WorldBench, um novo benchmark multimodal de pesquisadores do MIT, avalia 15 MLLMs em imagens visualmente diversas, revelando lacunas fundamentais na compreensão visual, com o melhor modelo pontuando apenas 64,0%. Este benchmark foca na diversidade visual para expor deficiências nos modelos.
Este artigo propõe o framework LAMO para enfrentar o desafio de implementar agentes GUI autônomos baseados em MLLMs leves em dispositivos com recursos limitados. O LAMO aprimora MLLMs leves com conhecimento específico de GUI e escalabilidade de tarefas por meio de orquestração multi-funções.
AMBER introduz um novo benchmark multidimensional, independente de LLM, projetado para avaliar rigorosamente a alucinação em Modelos de Linguagem Grande Multimodais (MLLMs). Esta pesquisa visa fornecer uma ferramenta abrangente para analisar a confiabilidade e precisão das saídas dos MLLMs.
Este artigo identifica e formaliza a
SaFeR-Steer é uma nova estrutura para alinhar a segurança de MLLMs em diálogos multi-turn, combatendo ataques que exploram o histórico visual-textual e a degradação da segurança em contextos longos. Este método utiliza bootstrapping sintético e feedback dinâmico, introduzindo também o dataset STEER para treinamento e avaliação.
O artigo propõe ICG, um novo framework para geração personalizada de imagens de capa que integra prompt baseado em MLLM com alinhamento de preferência. Ele utiliza características semânticas e embeddings de usuário para contextualizar o modelo de difusão e adota uma estratégia de aprendizado multi-recompensa para abordar a falta de supervisão rotulada.