Este conteúdo explora uma pesquisa sobre o design de sistemas de IA que tomam decisões complexas e sequenciais em ambientes extremos, como a exploração em alto-mar. A investigação focou em integrar preferências humanas no projeto de habitats através de Decision Transformers e aprendizagem por reforço.
El artículo presenta CLIPR, un marco para Grandes Modelos de Lenguaje (LLMs) que infiere preferencias latentes del usuario a partir de interacciones limitadas para una toma de decisiones alineada con los humanos. Aborda las dificultades de los LLMs para producir soluciones alineadas y las limitaciones de los enfoques existentes en la generalización de preferencias.
Una prueba en el desierto con un rover autónomo reveló que la IA, aunque optimizaba métricas programadas, no lograba identificar características geológicas relevantes, no "pensando como un geólogo". Esta frustración impulsó la búsqueda de inteligencia artificial alineada con humanos para misiones de estudio geológico planetario en entornos extremos y con bajo consumo de energía.