Revealing Interpretable Failure Modes of VLMs

Modelos de Visão-Linguagem (VLMs) podem apresentar falhas catastróficas em cenários reais, apesar de suas amplas capacidades de raciocínio. REVELIO é um framework que identifica modos de falha interpretáveis em VLMs, combinando busca em feixe consciente da diversidade e amostragem de Thompson com processo gaussiano para mapear o cenário de falhas.