Revealing Interpretable Failure Modes of VLMs

Vision-Sprach-Modelle (VLMs) können trotz ihrer breiten Schlussfolgerungsfähigkeiten in realen Situationen katastrophale Fehler aufweisen. REVELIO ist ein Framework zur systematischen Aufdeckung interpretierbarer Fehlermodi in VLMs, das eine diversitätssensible Beam-Suche und ein Gaußsches-Prozess-Thompson-Sampling kombiniert, um die Fehlerlandschaft abzubilden.