Este trabalho apresenta um framework automatizado para comparar documentos de política de segurança de IA usando LLMs e uma taxonomia compartilhada, avaliando a estabilidade e validade da análise.
O texto aborda as limitações de generalização do Reinforcement Learning (RL), onde políticas aprendidas falham fora da distribuição de treinamento. Propõe uma nova taxonomia de contextos (alógenos e autógenos) e identifica direções de pesquisa cruciais para desenvolver uma verdadeira inteligência contextual.
AgentAtlas aborda a fragmentação nos benchmarks usados para avaliar agentes de modelos de linguagem grandes (LLM), que atualmente enfatizam diferentes unidades de medida. Ele introduz quatro componentes, incluindo uma taxonomia de decisão de controle de seis estados, uma taxonomia de falha de trajetória de nove categorias e uma metodologia para medir a capacidade do modelo com base na supervisão do prompt.