OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem es un marco de streaming eficiente en memoria para LLMs audiovisuales, diseñado para superar las limitaciones de la inferencia de video largo debido al aumento de tokens y cachés KV. Emplea asignación de memoria consciente de la modalidad y selección de memoria sensible a perturbaciones para preservar estados KV informativos, mejorando la compresión y la comprensión a largo plazo.