Este artículo ofrece un desglose técnico de cómo funcionan los modelos Visual-Lenguaje-Acción (VLA), explicando cómo transforman las entradas de visión y lenguaje en acciones robóticas. Cubre los enfoques de decodificación de acciones actuales, incluyendo acciones autorregresivas tokenizadas, cabezas de acción basadas en difusión y políticas de coincidencia de flujo.
![How Visual-Language-Action (VLA) Models Work [D]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://external-preview.redd.it/fBpt1C8zS6YDW2Lp0_fnNCU2C0Dw1W3tzt7P4g39SHw.jpeg?width=640&crop=smart&auto=webp&s=d9f046e9b38c478cf671d18df1b23a42fd1613bd)
Este contenido explora el auge de la IA encarnada de código abierto, que democratiza el desarrollo de robots inteligentes que interactúan con el mundo físico. Ofrece consejos clave para contribuir, incluyendo el uso de plataformas (ROS, Gazebo), el desarrollo de habilidades (programación, IA/ML) y la participación activa en proyectos.
La startup china MiniMax afirmó una mejora del 26% en el BU Bench, un benchmark para la planificación de tareas de IA encarnada. Sin embargo, la compañía no publicó detalles, datos o metodología, lo que hace que la afirmación no sea verificable.
PRISM es un nuevo marco que integra la percepción (VLM) y la decisión (LLM) a través de un pipeline dinámico de preguntas y respuestas, permitiendo que el LLM refine activamente la salida del VLM para una comprensión de la escena orientada a tareas. Este enfoque supera significativamente los modelos basados en imágenes existentes en benchmarks como ALFWorld y Room-to-Room.
Esta investigación explora cómo los modelos de mundo aprenden representaciones semánticas a partir de la exploración física sin supervisión lingüística. Se encuentra que su espacio latente desarrolla una estructura semántica espacial que refleja la geometría física, y el alineamiento semántico mejora con el rendimiento predictivo.
El artículo presenta AURA-Mem, una nueva arquitectura de memoria recurrente para robots que mantiene un tamaño constante de VRAM. A diferencia del KV-cache, AURA-Mem utiliza una compuerta aprendida que escribe solo cuando la observación actual cambia la próxima acción, siendo más adecuada para agentes integrados con hardware limitado.
Los modelos del mundo para la IA encarnada deben ser físicamente viables, representando la estructura física que rige los resultados de las acciones en lugar de simplemente predecir observaciones futuras. Este trabajo expone que los modelos predictivos de observación existentes pueden producir simulaciones visualmente plausibles pero físicamente incorrectas, argumentando que la IA encarnada requiere modelos del mundo que identifiquen la abstracción física más simple para responder a consultas de intervención.
El Prof. Alois Knoll, investigador de robótica e IA, sostiene que la verdadera inteligencia necesita un cuerpo, ya que los grandes modelos de lenguaje están atrapados en el espacio digital y carecen de experiencia física. Destaca la importancia de los robots humanoides para recopilar datos del mundo real, ofreciendo un nivel de comprensión que el análisis de texto puro no puede reemplazar.