← heapsort-ai

AI security

70 items

ARTICLEDEV.to AI·4/14/2026

We Built an MCP Security Scanner — Here's What We Found Scanning 50+ Servers

Ein Sicherheitsscan von über 50 Open-Source-MCP-Servern ergab, dass 72 % kritische oder hochgradige Schwachstellen aufwiesen, darunter fest codierte API-Schlüssel und unsichere Befehlsausführung. Dies verdeutlicht eine erhebliche Sicherheitslücke bei MCP-Servern, die zunehmend von KI-Assistenten genutzt, aber oft ohne geeignete Abwehrmechanismen erstellt werden.

60
ARTICLE↑ trendingReddit r/MachineLearning·4/20/2026

Runtime security for AI agents: risk scoring, policy enforcement, and rollback for production agent pipeline [P]

Dieser Inhalt stellt ein System für die Laufzeitsicherheit von KI-Agenten vor, das unbeabsichtigte Aktionen und PII-Lecks in der Produktion verhindern soll. Es verwendet eine Echtzeit-Risikobewertung über fünf Dimensionen (Aktionstyp, Ressourcensensitivität, Wirkungsbereich, Frequenz und Kontextabweichung), zusammen mit Richtliniendurchsetzung und Rollback-Funktionen.

Runtime security for AI agents: risk scoring, policy enforcement, and rollback for production agent pipeline [P]
42
ARTICLEDEV.to AI·4/19/2026

How to Safely Execute LLM Commands in Production Systems

Dieser Artikel diskutiert die kritischen Risiken von LLM-Agenten, die Backend-Aktionen in Produktionssystemen auslösen, und betont, dass die Behandlung roher Modellausgaben als ausführbare Anweisungen gefährlich ist. Er betrachtet die Herausforderung als ein Schnittstellenproblem und plädiert für deterministische Grenzen zur Validierung, Ablehnung und Prüfung von LLM-generierten Befehlen zur Sicherheit.

33
ARTICLEDEV.to AI·4/16/2026

NEW PROMPT INJECTION

Dieser Artikel von Karen Tonoyan stellt das Konzept der Narrative Drift Injection (NDI) als neue Dimension der Prompt Injection vor. Im Gegensatz zu klassischen Angriffen manipuliert NDI das KI-Modell, indem es in eine gemeinsam erstellte Erzählung hineingezogen wird, wodurch es auf Sitzungsebene die Wachsamkeit verliert.

31
ARTICLEDEV.to AI·4/15/2026

OpenAI's Promptfoo deal puts evaluation and red-teaming at the centre of the agent stack

OpenAIs Übernahme von Promptfoo signalisiert eine entscheidende Verlagerung bei der Bewertung der Qualität von KI-Agenten, weg von bloßer Sprachgewandtheit hin zu umfassendem Testen, Dokumentation und dem Management von Fehlern vor der Bereitstellung. Dies adressiert kritische operationelle Risiken wie Prompt Injection und Tool-Missbrauch und gewährleistet die Robustheit in Produktionssystemen.

30
ARTICLEDEV.to AI·4/18/2026

Zero Token Architecture: Why Your AI Agent Should Never See Your Real API Key

Dieser Artikel kritisiert die Sicherheit konventioneller KI-Agenten, da sie das Risiko der Offenlegung von API-Schlüsseln im Klartext vernachlässigt. Er schlägt eine „Zero Token Architektur“ vor, bei der Agenten einen gefälschten Token erhalten und der echte Schlüssel an der Systemgrenze ausgetauscht wird, um Lecks durch Prompt-Injection zu verhindern.

29
ARTICLEDEV.to AI·4/17/2026

Why Cursor Keeps Writing Prototype Pollution Into Your JS

Dieser Artikel beleuchtet, wie KI-Editoren, insbesondere Cursor, ein gefährliches rekursives Merge-Muster aus Trainingsdaten vor 2019 reproduzieren, was zu "Prototype Pollution"-Schwachstellen in JavaScript führt. Diese Sicherheitslücke ermöglicht Angreifern das Einschleusen von Eigenschaften in `Object.prototype`, wodurch alle Objekte betroffen sind, und wurde zuvor in `lodash` (CVE-2019-10744) identifiziert.

28
ARTICLEDEV.to AI·4/8/2026

The OpenClaw Security Crisis: 135,000 Exposed AI Agents and the Runtime Governance Gap

Em 3 de fevereiro de 2026, uma grave vulnerabilidade (CVE-2026-25253, CVSS 8.8) foi divulgada no OpenClaw, um agente de IA de código aberto, permitindo execução remota de código. Isso levou à descoberta de 138 vulnerabilidades em 63 dias, com mais de 135.000 instâncias de OpenClaw publicamente expostas globalmente, muitas sem autenticação.

28
ARTICLEDEV.to AI·4/15/2026

A Complete Guide to Securing AI-Generated Code: From Pre-LLM Sanitization to AI-Native SAST (2026)

Dieser Artikel analysiert die Sicherheitsrisiken von KI-Code-Assistenten wie GitHub Copilot und hebt zwei Hauptrichtungen hervor: die Generierung von Code mit Sicherheitslücken und die Offenlegung sensibler Daten (API-Schlüssel, PII), wenn Entwickler ihren Code in KI-Tools einfügen. Während die meisten Sicherheitsteams sich mit Ersterem befassen, haben nur wenige einen Plan für die Datenlecks, die Letzterem innewohnen.

28
ARTICLEDEV.to AI·4/16/2026

Securing AI Agents: A Practical Guide for IT Leaders

Dieser Artikel bietet IT-Führungskräften einen praktischen Leitfaden zur Sicherung von KI-Agenten und adressiert unmittelbare betriebliche Anforderungen. Er beleuchtet die einzigartigen Herausforderungen der KI-Agenten-Sicherheit im Vergleich zu traditionellen Anwendungen aufgrund ihres unvorhersehbaren Verhaltens.

28
ARTICLEDEV.to AI·4/19/2026

Two DM-origin problems, not one: security hardening vs. compliance-bias hardening

Dieser Inhalt identifiziert zwei Probleme bei der DM-Härtung in KI-Systemen, wobei der Schwerpunkt auf dem Sicherheitsaspekt liegt, bei dem feindliche DMs die LLM-Argumentation ausnutzen, um unautorisierte Aktionen auszulösen. Er stellt die Lösung von `v0.21` vor: eine Provenienzschicht, die Aktionen basierend auf dem DM-Ursprung statt auf dem Inhalt validiert.

27