Este estudo revela que a segurança em grandes modelos de linguagem pode ser desativada ao manipular um único neurônio oculto. Essa intervenção mínima funciona em várias famílias e escalas de modelos, desafiando a suposição de que o alinhamento é robustamente distribuído na rede.
O autor descreve uma interrupção de 6 horas em seu agente de conteúdo de IA, causada por um bug de injeção de prompt indireta vindo de um arquivo de pesquisa não validado. Isso resultou na geração de 47 rascunhos idênticos e inacabados, destacando a necessidade crítica de validação de entrada em sistemas de IA.
Este artigo demonstra como envenenar um assistente de segurança de IA baseado em RAG e realizar injeção de prompt indireta. Os resultados de benchmark mostram taxas de sucesso de ataque de 80% e 100%, provando a vulnerabilidade desses sistemas.