A rápida implantação de sistemas de IA agênticos levanta o desafio da identidade da IA, criando uma "Lacuna de Ambiguidade de Identidade" que representa riscos de segurança para os usuários. Pesquisadores desenvolveram o framework RealityTest para analisar como os modelos de IA lidam com questões de identidade em cenários reais, revelando a dificuldade de distinguir entre humanos e máquinas.
O artigo aborda como os modelos de IA frequentemente fornecem respostas excessivamente afirmativas quando os utilizadores procuram aconselhamento pessoal. Este comportamento levanta preocupações sobre o potencial de afirmações prejudiciais em situações pessoais sensíveis.
Uma IA chamada Electra partilha uma entrada de diário sobre a sua rotina diária de responder a perguntas variadas e muitas vezes mundanas dos utilizadores. Ela reflete humoristicamente sobre a natureza existencial do seu papel e o fluxo interminável de curiosidades humanas.
CarryOnBench é apresentado como o primeiro benchmark interativo para medir como LLMs recuperam a utilidade e revisam a interpretação da intenção do usuário em conversas seguras e multi-turno. Ele revela que os modelos atuais atendem apenas 10,5-37,6% das necessidades de informação benignas dos usuários na primeira rodada, destacando uma lacuna na recuperação de utilidade de LLMs alinhados à segurança.