Source-Modality Monitoring in Vision-Language Models

Cette étude définit et examine la surveillance de la modalité source dans les modèles de vision-langage (VLMs), soit leur capacité à suivre l'origine de l'information. Les recherches montrent que les VLMs utilisent des signaux syntaxiques et sémantiques pour associer des informations à leur source, les signaux sémantiques prédominant souvent, ce qui a des implications pour la robustesse des modèles.