Este artigo oferece uma análise técnica aprofundada de como os modelos Visual-Language-Action (VLA) funcionam, detalhando sua capacidade de mapear entradas de visão e linguagem em ações robóticas. Ele explora as principais abordagens de decodificação de ações, como ações autorregressivas tokenizadas, cabeças de ação baseadas em difusão e políticas de correspondência de fluxo.
![How Visual-Language-Action (VLA) Models Work [D]](/cdn-cgi/image/width=3840,quality=75,format=webp/https://external-preview.redd.it/fBpt1C8zS6YDW2Lp0_fnNCU2C0Dw1W3tzt7P4g39SHw.jpeg?width=640&crop=smart&auto=webp&s=d9f046e9b38c478cf671d18df1b23a42fd1613bd)
Este conteúdo explora a ascensão da IA encarnada de código aberto, que democratiza o desenvolvimento de robôs inteligentes que interagem com o mundo físico. Ele oferece dicas chave para contribuir, como engajar-se com plataformas (ROS, Gazebo), desenvolver habilidades (programação, IA/ML) e participar ativamente em projetos.
O artigo apresenta AURA-Mem, uma nova arquitetura de memória recorrente para robôs que mantém um tamanho constante de VRAM. Diferente do KV-cache, AURA-Mem utiliza um portão aprendido que escreve apenas quando a observação atual altera a próxima ação, sendo mais adequada para agentes embarcados com hardware limitado.
A startup chinesa MiniMax afirmou ter alcançado uma melhoria de 26% no BU Bench, um benchmark de planejamento de tarefas de IA incorporada. No entanto, a empresa não divulgou detalhes, dados ou metodologia, tornando a alegação inverificável.
PRISM é uma nova estrutura que integra percepção (VLM) e decisão (LLM) através de um pipeline dinâmico de perguntas e respostas, permitindo que o LLM refine ativamente a saída do VLM para uma compreensão da cena orientada por tarefas. Essa abordagem supera significativamente os modelos baseados em imagem existentes em benchmarks como ALFWorld e Room-to-Room.
Esta pesquisa explora como modelos de mundo aprendem representações semânticas a partir da exploração física sem entrada linguística. Descobre-se que o espaço latente desenvolve estruturas semânticas espaciais que espelham a geometria física, com o alinhamento semântico melhorando junto com o desempenho da previsão.
Modelos de mundo para IA incorporada devem ser fisicamente viáveis, representando a estrutura física que governa os resultados das ações em vez de apenas prever observações futuras. Este trabalho expõe que modelos preditivos de observação existentes podem produzir simulações visualmente plausíveis, mas fisicamente erradas, e defende que a IA incorporada requer modelos de mundo que identifiquem a abstração física mais simples para responder a consultas de intervenção.
O Prof. Alois Knoll, pesquisador de robótica e IA, argumenta que a verdadeira inteligência requer um corpo, pois grandes modelos de linguagem estão presos ao espaço digital e carecem de experiência física. Ele enfatiza a necessidade de robôs humanoides para coletar dados no mundo real, fornecendo um nível de compreensão que a análise de texto pura não pode substituir.