Dieser Artikel bietet eine technische Analyse, wie Visual-Language-Action (VLA)-Modelle funktionieren und Vision-/Spracheingaben in Roboteraktionen umsetzen. Er behandelt die wichtigsten derzeit verwendeten Aktionsdekodierungsansätze wie tokenisierte autoregressive Aktionen, diffusionsbasierte Aktionsköpfe und Flow-Matching-Richtlinien.
![How Visual-Language-Action (VLA) Models Work [D]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://external-preview.redd.it/fBpt1C8zS6YDW2Lp0_fnNCU2C0Dw1W3tzt7P4g39SHw.jpeg?width=640&crop=smart&auto=webp&s=d9f046e9b38c478cf671d18df1b23a42fd1613bd)
Dieser Inhalt untersucht den Aufstieg der Open-Source-Verkörperten KI, die die Entwicklung intelligenter Roboter, die mit der physischen Welt interagieren, demokratisiert. Er bietet wichtige Hinweise zur Beteiligung, einschließlich der Nutzung von Plattformen (ROS, Gazebo), der Entwicklung von Fähigkeiten (Programmierung, KI/ML) und der aktiven Teilnahme an Projekten.
Das chinesische Startup MiniMax behauptete eine 26%ige Verbesserung auf dem BU Bench, einem Benchmark für die Planung von Aufgaben in verkörperter KI. Das Unternehmen veröffentlichte jedoch keine Details, Daten oder Methodik, wodurch die Behauptung unüberprüfbar bleibt.
PRISM ist ein neues Framework, das Wahrnehmung (VLM) und Entscheidung (LLM) durch eine dynamische Frage-Antwort-Pipeline integriert, wodurch das LLM die Ausgabe des VLM aktiv für ein aufgabenorientiertes Szenenverständnis verfeinern kann. Dieser Ansatz übertrifft bestehende bildbasierte Modelle auf Benchmarks wie ALFWorld und Room-to-Room erheblich.
Diese Forschung untersucht, wie Weltmodelle semantische Repräsentationen durch physische Erkundung ohne linguistische Supervision lernen. Es wird festgestellt, dass ihr latenter Raum eine räumliche semantische Struktur entwickelt, die die physische Geometrie widerspiegelt, wobei die semantische Ausrichtung mit der Vorhersageleistung mitverbessert wird.
Dieses Papier stellt AURA-Mem vor, eine neuartige rekursive Speicherarchitektur für Roboter, die eine konstante VRAM-Größe beibehält. Im Gegensatz zum KV-Cache verwendet AURA-Mem ein gelerntes Gate, das nur schreibt, wenn die aktuelle Beobachtung die nächste Aktion ändert, was es für eingebettete Agenten mit begrenzter Hardware geeignet macht.
Weltmodelle für verkörperte KI müssen physikalisch umsetzbar sein und die physikalische Struktur darstellen, die Aktionsergebnisse steuert, anstatt nur zukünftige Beobachtungen vorherzusagen. Diese Arbeit zeigt auf, dass bestehende beobachtungsvorhersagende Weltmodelle visuell plausible, aber physikalisch falsche Abläufe erzeugen können, und argumentiert, dass verkörperte KI Weltmodelle benötigt, die die einfachste physikalische Abstraktion identifizieren, um Interventionsanfragen zu beantworten.
Prof. Alois Knoll, ein Robotik- und KI-Forscher, argumentiert, dass wahre Intelligenz einen Körper erfordert, da große Sprachmodelle auf den digitalen Raum beschränkt sind und physische Erfahrung missen. Er betont die Notwendigkeit humanoider Roboter, um reale Daten zu sammeln und ein Verständnis zu liefern, das reine Textanalyse nicht ersetzen kann.