O Google lançou o Gemma 4 12B, um modelo de IA multimodal sem codificador que oferece desempenho próximo ao de modelos de 26B, mas roda em laptops de consumo com 16GB de RAM. Sua arquitetura inovadora permite que visão e áudio sejam processados diretamente pelo backbone do LLM, eliminando a necessidade de redes de codificação separadas.
Este conteúdo é um rascunho de plano para um artigo sobre o teste de modelos de IA multimodal. O autor planeja compartilhar sua descoberta pessoal, benchmarking e dados de preços de vários modelos.
Este artigo introduz o framework zero-shot Query Retrieve Conclude para interpretar memes multimodais dinâmicos, que frequentemente exigem conhecimento de fundo atualizado. Ele identifica conhecimento ausente, recupera evidências da web e sintetiza informações para compreensão e detecção de memes, mostrando melhorias em benchmarks de 2024 a 2026.
MCBench é um novo benchmark para avaliar a segurança de LLMs Omni que processam dados visuais, de áudio e texto, revelando desafios na integração de modalidades para julgamentos de segurança. Ele destaca que os LLMs atuais falham na avaliação robusta da segurança em cenários críticos.
Google lançou o Gemma 4 12B Unified, um modelo multimodal de código aberto para texto, imagem, áudio e vídeo, com uma janela de contexto de 256K e um design eficiente. A introdução levanta questões sobre a estratégia de IA mais ampla do Google.
Nemotron 3.5 Content Safety é uma solução que oferece segurança multimodal personalizável para inteligência artificial empresarial global. Ela visa garantir a proteção de conteúdo em diversas modalidades para empresas.
Um experimento testou modelos de IA multimodais de ponta, como Gemini 3.1 Pro e GPT-5.4, na avaliação de arte a partir de imagens. O estudo revelou uma lacuna entre reconhecimento visual e compromisso com a avaliação, sugerindo que "ver" algo e confiar no que é visto são diferentes para as IAs.
ChatHealthAI propõe uma estrutura multimodal para alinhar representações estruturadas de registros eletrônicos de saúde (EHR) com grandes modelos de linguagem (LLMs). Essa integração permite um raciocínio clínico fundamentado em linguagem natural e uma previsão precisa do paciente, preenchendo a lacuna entre modelos preditivos de EHR e o raciocínio interpretável de LLM.
Este artigo apresenta a análise de um arquiteto de nuvem sobre APIs de IA multimodal, destacando considerações cruciais como escalabilidade, latência e confiabilidade para ambientes empresariais. Ele compara modelos de visão, áudio e omni, fornecendo um guia prático para a construção de sistemas de IA robustos e de alto desempenho.
O Ovis2.6-80B-A3B é um avanço nos Modelos de Linguagem Grandes Multimodais (MLLMs), introduzindo uma arquitetura Mixture-of-Experts (MoE) para desempenho superior e menor custo de serviço. Ele também aprimora a compreensão de contexto longo, alta resolução, raciocínio visual e documentos densos em informações.
O Gemma 4 12B do Google DeepMind é um modelo multimodal de IA notável, projetado para execução local e em dispositivos, facilitando o desenvolvimento de IA em laptops. Ele suporta entrada de texto, imagens e áudio nativo, simplificando a experimentação e os fluxos de trabalho no dispositivo para desenvolvedores.
O conteúdo anuncia a adição de suporte para o modelo MiMo v2.5 no llama.cpp e descreve sua arquitetura. O MiMo v2.5 é um modelo Sparse MoE com 310B de parâmetros totais e 15B ativados, que suporta modalidades de texto, imagem, vídeo e áudio com uma impressionante extensão de contexto.
Foi lançado e tornado open-source o modelo Qwen3.6-35B-A3B, um modelo sparse MoE com 35B de parâmetros totais e 3B ativos sob licença Apache 2.0. Ele se destaca por sua capacidade de codificação agêntica, percepção e raciocínio multimodal, sendo eficiente, poderoso e versátil.
Intern-S2-Preview é um modelo de fundação multimodal científico eficiente de 35B que alcança desempenho comparável a modelos de trilhões de parâmetros através da exploração de escalonamento de tarefas e treinamento em cadeia completa. Ele se destaca em centenas de tarefas científicas profissionais, mantendo forte raciocínio geral, compreensão multimodal e capacidades de agente.
SenseNova U1 é uma nova série de modelos multimodais nativos que unifica compreensão, raciocínio e geração multimodal numa arquitetura monolítica. Estes modelos inovadores pensam e agem nativamente através da linguagem e visão, marcando uma mudança de paradigma fundamental na IA multimodal.
O título descreve uma otimização impressionante para o modelo Qwen3.6–27B, alcançando 85 TPS e 125K de contexto com capacidades de visão em uma única RTX 3090. Este é um feito técnico significativo para a implantação eficiente de LLMs.
O modelo Qwen3 agora oferece suporte a entrada de áudio através de suas versões `qwen3-omni-moe` (multimodal com entrada de visão e áudio) e `qwen3-asr` (reconhecimento automático de fala). Modelos GGUF para Qwen3-Omni (variantes de 30B) e Qwen3-ASR (1.7B e 0.6B) estão disponíveis no Hugging Face para uso da comunidade.
O MiniMax M3 é um modelo de fronteira de peso aberto pioneiro, combinando codificação avançada, uma janela de contexto de 1M tokens e multimodalidade nativa. Ele lidera o ranking SWE-Bench Pro de modelos de peso aberto e permite auto-hospedagem, eliminando taxas de API por token e garantindo a residência de dados.
Apresentamos VAMPS, um novo benchmark para modelos de linguagem grandes multimodais (MLLMs) focado na resolução de problemas matemáticos assistidos visualmente. Ele contém 1.168 pares de perguntas e respostas de múltipla escolha bilíngues, derivados de exames de entrada universitários iranianos, onde a plotagem fornece uma estratégia de solução natural.
MM-BizRAG propõe uma abordagem direta para geração aumentada por recuperação multimodal em Q&A corporativo, lidando explicitamente com informações estruturadas em documentos complexos. Utiliza uma divisão sensível à estrutura do documento e pipelines de ingestão específicos de orientação para processar melhor vários tipos de documentos.