Revealing Interpretable Failure Modes of VLMs

Malgré leurs larges capacités de raisonnement, les Modèles Vision-Langage (VLMs) peuvent présenter des défaillances catastrophiques dans des situations réelles. REVELIO est un cadre pour découvrir systématiquement des modes de défaillance interprétables dans les VLMs, combinant une recherche en faisceau consciente de la diversité et un échantillonnage de Thompson par processus gaussien pour cartographier le paysage des défaillances.