Este conteúdo explora uma pesquisa sobre o design de sistemas de IA que tomam decisões complexas e sequenciais em ambientes extremos, como a exploração em alto-mar. A investigação focou em integrar preferências humanas no projeto de habitats através de Decision Transformers e aprendizagem por reforço.
O artigo apresenta CLIPR, uma estrutura para Grandes Modelos de Linguagem (LLMs) que infere preferências latentes do usuário a partir de interações limitadas para decisões alinhadas a humanos. Ele aborda as dificuldades dos LLMs em produzir soluções alinhadas e as limitações das abordagens existentes na generalização de preferências.
Uma experiência no deserto com um rover autônomo revelou que a IA, apesar de otimizar métricas programadas, falhava em identificar características geológicas relevantes, não "pensando como um geólogo". Essa frustração impulsionou a busca por inteligência artificial alinhada a humanos para missões de pesquisa geológica planetária em ambientes extremos e com baixo consumo de energia.