VideoLLM

VideoLLM runs live video QA at 2 FPS

Ein neues VideoLLM-System namens AURA ermöglicht Echtzeit-Fragenbeantwortung für Live-Videos mit 2 FPS und überwindet damit die Einschränkungen früherer Modelle, die nur aufgezeichnete Clips verarbeiteten oder Schwierigkeiten mit kontinuierlichem Streaming hatten. AURA erreicht eine begrenzte Latenz durch die Vereinigung eines Video-Encoders mit einem LLM und die Verwendung eines Sliding-Window-Verlaufs mit wiederverwendbaren Präfix-Schlüssel-Wert-Caches.