Revealing Interpretable Failure Modes of VLMs

A pesar de sus amplias capacidades de razonamiento, los Modelos de Visión-Lenguaje (VLMs) pueden experimentar fallos catastróficos en situaciones reales. Se presenta REVELIO, un marco para descubrir sistemáticamente modos de fallo interpretables en VLMs, combinando una búsqueda en haz consciente de la diversidad y muestreo de Thompson con proceso gaussiano para mapear el paisaje de fallos.