VideoLLM runs live video QA at 2 FPS
Un nouveau système VideoLLM appelé AURA permet des questions-réponses en temps réel pour la vidéo en direct à 2 FPS, surmontant les limites des modèles précédents qui ne traitaient que des clips préenregistrés ou rencontraient des difficultés avec le streaming continu. AURA atteint une latence bornée en unifiant un encodeur vidéo avec un LLM et en utilisant un historique à fenêtre glissante avec des caches clé-valeur de préfixe réutilisables.