Esta discusión cuestiona si los Modelos de Lenguaje Visual (VLMs) en producción aún utilizan ViTs de parche fijo para sus capacidades de visión, a pesar de la existencia de métodos de tokenización más eficientes. Explora posibles razones para esto, como ganancias marginales, limitaciones de tubería o leyes de escala no claras para el "patching" adaptativo.
PaliGemma 2 se presenta como una nueva familia de Modelos de Lenguaje-Visión (VLMs) versátiles, diseñada específicamente para sobresalir en diversas aplicaciones de aprendizaje por transferencia. Este avance busca mejorar el rendimiento en múltiples tareas multimodales mediante una transferencia de conocimiento efectiva.
CP-MoE aborda el olvido catastrófico en el aprendizaje continuo para LLMs y VLMs que utilizan arquitecturas Mixture-of-Experts. Introduce un experto transitorio y un enrutamiento que preserva la consistencia para integrar nuevos conocimientos y evitar la sobrescritura de parámetros existentes.
A pesar de sus amplias capacidades de razonamiento, los Modelos de Visión-Lenguaje (VLMs) pueden experimentar fallos catastróficos en situaciones reales. Se presenta REVELIO, un marco para descubrir sistemáticamente modos de fallo interpretables en VLMs, combinando una búsqueda en haz consciente de la diversidad y muestreo de Thompson con proceso gaussiano para mapear el paisaje de fallos.