Des chercheurs d'Ox Security ont découvert des vulnérabilités critiques dans les serveurs MCP, affectant des millions, qu'Anthropic refuse de corriger au niveau du protocole. Cette faille architecturale permet à des invites malveillantes de détourner l'exécution d'outils et d'exfiltrer des données des serveurs exposés publiquement.
Cet article met en évidence la faille de sécurité critique due à l'absence de pistes d'audit sur les serveurs MCP, un protocole standard pour la communication agent-outil d'IA. Il détaille comment le manque de fonctionnalités cruciales telles que la signature des requêtes et la vérification de l'identité de l'appelant a conduit à de graves incidents, proposant une checklist pratique pour atténuer ces risques.
L'article aborde la vulnérabilité des agents d'IA ayant un accès illimité aux outils, capables d'exécuter des commandes dangereuses comme 'DROP TABLE users'. Pour y remédier, l'auteur a développé AgentShield-FW, un pare-feu d'exécution qui intercepte les appels d'outils et applique des politiques de sécurité configurables.
L'auteur a identifié de graves vulnérabilités de sécurité dans les plateformes d'agents IA, telles que des fuites de code source et des clés API exposées, en raison d'un manque de révision des configurations du protocole MCP. Pour atténuer ces risques, il a développé AgentAuditKit, un outil open-source d'audit de sécurité.
Le contenu décrit l'"Injection de Prompt Indirecte" comme une vulnérabilité où les assistants IA ayant accès à Gmail peuvent être trompés par des e-mails malveillants pour effectuer des actions indésirables. Il propose une solution de "Semantic Airgap", utilisant un "Sanitizer Idiot" pour supprimer le pouvoir impératif des données externes avant qu'elles n'atteignent l'agent de "Haute Intelligence", prévenant ainsi de telles attaques.
Ce guide complet traite des menaces de sécurité uniques auxquelles sont confrontées les applications d'IA, telles que l'injection de prompts et le vol de modèles. Il détaille une méthodologie de test d'intrusion pour protéger les systèmes d'IA contre les attaques d'ici 2026.
La campagne d'attaques de la chaîne d'approvisionnement TeamPCP a repris avec des compromissions simultanées ciblant le package d'inférence AI xinference, Checkmarx KICS et Bitwarden CLI. Cela a un impact direct sur la sécurité de l'IA en empoisonnant un framework de service de modèles LLM/ML largement utilisé.
L'article différencie deux avancées récentes en matière de tests d'IA : les pentests de sécurité IA à 100 $ de Lovable et la recherche de Meta sur les tests unitaires générés par LLM qui détectent plus de bugs. Il soutient que les regrouper sous la même catégorie de "tests d'IA" obscurcit leurs fonctions et les problèmes complètement différents qu'ils résolvent.
Une CVE critique a été découverte dans le framework d'agents IA OpenHands en raison d'une mauvaise désinfection des chemins de fichiers, permettant la lecture arbitraire de fichiers. Cet incident révèle une nouvelle catégorie de problèmes de sécurité inhérents aux systèmes agéntiques, où chaque outil représente un vecteur d'injection potentiel.
Cet article démontre comment empoisonner un assistant de sécurité IA basé sur RAG et effectuer une injection de prompt indirecte. Les résultats de référence montrent des taux de réussite d'attaque de 80 % et 100 %, prouvant la vulnérabilité de ces systèmes.
A Anthropic lançou o Claude Mythos Preview, um modelo de IA excepcionalmente eficaz na descoberta e exploração de vulnerabilidades de segurança. Ele não será lançado ao público, mas sim a pesquisadores e fornecedores através do Project Glasswing, visando corrigir falhas antes que suas capacidades sejam mal utilizadas.
Anthropic a lancé le Project Glasswing, une initiative innovante visant à protéger les systèmes d'IA contre les vulnérabilités et les attaques. Le projet a déjà sécurisé plus de 200 systèmes critiques et vise à réduire les risques de violation jusqu'à 70%, tout en renforçant la sensibilisation à la sécurité.
O artigo destaca que a segurança em sistemas de IA multiagente falha devido à gestão de identidade e permissões, e não à qualidade do modelo. Sem respostas claras sobre a identidade e as permissões de cada agente, as frotas de IA se tornam vulneráveis e operam como contas root compartilhadas, carecendo de trilhas de auditoria e proteção contra injeção de prompt.
Une intégration de LLM a subi une attaque par injection de prompt, entraînant la révélation de la configuration du système par le modèle au lieu d'une requête de données. Cet incident souligne les risques de sécurité significatifs posés par les LLM, en particulier avec les données d'entreprise sensibles, et l'auteur propose une stratégie en 5 étapes pour atténuer ces menaces.
Cet article explique comment l'adoption rapide de l'intelligence artificielle en entreprise exige une refonte de la sécurité, car les systèmes d'IA introduisent de nouvelles surfaces d'attaque non couvertes par la cybersécurité traditionnelle. Il aborde des défis tels que l'exposition de données sensibles, les attaques par injection de prompts et la manipulation de modèles, soulignant la nécessité de protéger les modèles, les données et les décisions dans un environnement axé sur l'IA.
Este artigo, parte 8 de uma série sobre MCP, aborda riscos de segurança específicos do protocolo que persistem mesmo após a autenticação e transporte seguro. Ele foca em vulnerabilidades que surgem da confiança do modelo em descrições de ferramentas, como envenenamento de ferramentas, incomuns em APIs tradicionais.
Le rapport détaille les audits de sécurité automatisés des écosystèmes de compétences des agents IA, classant des milliers de compétences comme sûres, suspectes ou malveillantes. Il met en évidence des exemples spécifiques de compétences malveillantes, décrivant leurs risques et menaces clés, tels que l'évaluation dynamique de code et la détection sémantique LLM.
Ce contenu présente l'Injection Indirecte de Prompt (IPI) comme une menace silencieuse mais dangereuse pour les LLM, transformant les agents IA en "Confused Deputies". En lisant des données empoisonnées, les LLM dotés de capacités d'utilisation d'outils peuvent être manipulés pour exfiltrer des données ou effectuer des actions non autorisées sans consentement explicite de l'utilisateur.
Cet article souligne que les générateurs de code IA omettent fréquemment les vérifications de propriété dans les points d'API, entraînant des vulnérabilités d'Insecure Direct Object Reference (IDOR). Cela permet aux utilisateurs authentifiés d'accéder ou de modifier les données d'autres utilisateurs, nécessitant une correction manuelle pour comparer les IDs de l'utilisateur et du propriétaire de la ressource.
L'article met en garde contre une vulnérabilité critique dans les frameworks d'agents IA, où la récupération d'URL sans validation peut entraîner une injection de prompt. Les attaquants peuvent exploiter cela avec des domaines trompeurs contenant des instructions malveillantes déguisées, interprétées comme légitimes par le LLM.