CrewAI a intégré une protection de mémoire native dans la configuration de ses agents, renforçant la sécurité contre les injections dans la mémoire persistante. Cette fonctionnalité essentielle vise à prévenir l'escalade des privilèges et l'exfiltration de données, répondant ainsi aux risques du Top 10 de l'OWASP pour les LLM.
Ce contenu identifie deux problèmes de durcissement des MD dans les systèmes d'IA, se concentrant sur l'aspect sécurité où les MD hostiles exploitent le raisonnement des LLM pour déclencher des actions non autorisées. Il présente la solution de la `v0.21`: une couche de provenance qui valide les actions en fonction de l'origine du MD plutôt que de son contenu.
Les taxonomies de sécurité d'applications web traditionnelles comme MITRE ATT&CK ne couvrent pas les nouvelles menaces spécifiques aux LLM, telles que l'injection de prompt ou les jailbreaks. MITRE ATLAS a été développé pour combler cette lacune, offrant un cadre structuré pour les menaces des systèmes d'IA/ML.
L'injection de prompt est une vulnérabilité de sécurité où une entrée non fiable est interprétée comme des instructions par un LLM, permettant aux attaquants de modifier le comportement du système. Une prévention efficace nécessite une désinfection pré-LLM de l'entrée utilisateur par validation et filtrage, idéalement avec une analyse statique au niveau du code.
Cet article explore les leçons d'ingénierie tirées d'une fuite hypothétique de 16 millions de conversations Claude d'Anthropic, soulignant les LLM comme une surface d'attaque distincte. Il met en évidence que les frontières des menaces englobent désormais les environnements tiers et les journaux riches, transformant une violation de chat en une violation d'entreprise.
Alors que les systèmes d'IA s'intègrent rapidement aux opérations d'entreprise, la sécurité devient une préoccupation essentielle. Les tests d'équipe rouge d'IA sont cruciaux pour identifier les vulnérabilités et les nouvelles surfaces d'attaque que les méthodes de test traditionnelles ne parviennent pas à couvrir dans les modèles dynamiques.
Cet article explore le risque d'injection de prompt indirecte dans les agents d'IA, tels que Claude Desktop, qui utilisent des outils externes via le Protocole de Contexte du Modèle (MCP). Il détaille comment les sorties d'outils peuvent devenir des vecteurs d'attaque et propose des solutions de code pour implémenter l'analyse d'injection.
Ce contenu explique comment sécuriser la CLI de Claude lorsqu'elle s'exécute côté serveur dans votre logiciel, en abordant les risques d'injection de prompts. Il détaille l'utilisation de couches de sécurité comme `--print` et `--bare` pour désactiver les outils interactifs et réduire le contexte disponible pour le modèle.
TEOS Sentinel Shield est un pare-feu d'exécution d'IA qui bloque le code d'IA dangereux, y compris les scripts générés par LLM, avant qu'il ne s'exécute. Il analyse plus de 14 modèles de risque en moins de 2 secondes, offrant des décisions claires pour prévenir les compromissions du système.
Le contenu annonce des ateliers à venir à NDC Sydney 2026 et Black Hat Asia, axés sur la sécurité de l'IA, l'exploration des vulnérabilités des LLM et des modèles de conception sécurisés. Il comprend un intense wargame d'attaque et de défense de l'IA où les participants sécurisent et attaquent des chatbots IA.