A CrewAI introduziu uma proteção de memória nativa para seus agentes, visando fortalecer a segurança contra injeções e ataques em memórias persistentes. Esta atualização crucial mitiga riscos como a escalada de privilégios e a exfiltração de dados, abordando vulnerabilidades do OWASP Top 10 para LLMs.
Este conteúdo identifica dois problemas de endurecimento de DMs em sistemas de IA, focando no aspecto de segurança onde DMs hostis exploram o raciocínio de LLMs para desencadear ações não autorizadas. Apresenta a solução da `v0.21`: uma camada de proveniência que valida ações com base na origem da DM, e não no conteúdo.
As taxonomias tradicionais de segurança de aplicações web, como o MITRE ATT&CK, não cobrem as novas ameaças específicas de LLMs, como injeção de prompt ou jailbreaks. O MITRE ATLAS foi desenvolvido para preencher essa lacuna, oferecendo um framework padronizado para ameaças em sistemas de IA/ML.
A injeção de prompt é uma vulnerabilidade de segurança onde a entrada não confiável é interpretada como instruções por um LLM, permitindo a anulação do comportamento do sistema. A prevenção eficaz exige sanitização pré-LLM do input do usuário através de validação e filtragem, idealmente com análise estática de código, não apenas filtros de tempo de execução.
O artigo explora as lições de engenharia de um hipotético vazamento de 16 milhões de conversas do Claude da Anthropic, destacando os LLMs como uma superfície de ataque distinta. Ele enfatiza que os limites das ameaças agora incluem ambientes de terceiros e logs ricos, expandindo o escopo de uma violação de chat para uma violação de negócios.
À medida que os sistemas de IA se integram rapidamente às operações empresariais, a segurança se torna uma preocupação crítica. O teste de red team de IA é essencial para identificar vulnerabilidades e novas superfícies de ataque que os métodos tradicionais de teste não conseguem abordar em modelos dinâmicos.
Este artigo explora o risco de injeção de prompt indireta em agentes de IA, como o Claude Desktop, que utilizam ferramentas externas via Model Context Protocol (MCP). Ele detalha como as saídas das ferramentas podem se tornar vetores de ataque e oferece soluções de código para implementar a varredura de injeção.
Este conteúdo explica como proteger a Claude CLI quando ela é executada server-side em seu software, abordando o risco de prompt injection. Ele descreve o uso de camadas de segurança como `--print` e `--bare` para desabilitar ferramentas interativas e reduzir o contexto disponível ao modelo.
TEOS Sentinel Shield é um firewall de execução de IA que bloqueia código de IA inseguro, incluindo scripts gerados por LLM, antes de serem executados. Ele analisa mais de 14 padrões de risco em menos de 2 segundos, fornecendo decisões claras de PERMITIR/ALERTAR/BLOQUEAR para prevenir comprometimentos.
O conteúdo anuncia workshops futuros no NDC Sydney 2026 e Black Hat Asia, focando na segurança de IA, explorando vulnerabilidades de LLM e padrões de design seguro. Inclui um intenso wargame de ataque e defesa de IA onde os participantes protegem e atacam chatbots de IA.