Über unsTopKurse
← heapsort-ai

red-teaming

6 items

ARTICLEDEV.to AI·4/15/2026

OpenAI's Promptfoo deal puts evaluation and red-teaming at the centre of the agent stack

OpenAIs Übernahme von Promptfoo signalisiert eine entscheidende Verlagerung bei der Bewertung der Qualität von KI-Agenten, weg von bloßer Sprachgewandtheit hin zu umfassendem Testen, Dokumentation und dem Management von Fehlern vor der Bereitstellung. Dies adressiert kritische operationelle Risiken wie Prompt Injection und Tool-Missbrauch und gewährleistet die Robustheit in Produktionssystemen.

red-teamingLLM Agentsevaluationprompt injection
30
RESEARCHarXiv CS.CL·vor 15T

How Far Will They Go? Red-Teaming Online Influence with Large Language Models

Diese Forschung schlägt einen empirischen Red-Teaming-Rahmen vor, um die Fähigkeit lokal eingesetzter Open-Source-Sprachmodelle (LLMs) zur Unterstützung politischer Einflusskampagnen zu bewerten, wobei der Fokus auf Informationsintegrität liegt. Sie misst „LLM-Overton-Fenster“ und quantifiziert, wie einfache Natural-Language-Jailbreaks die Bandbreite politischer Meinungen erweitern, die Modelle zuverlässig ausdrücken können, und deckt systematische Asymmetrien in der politischen Ausdrucksfähigkeit auf.

red-teamingsecurityonline influencemisinformation
28
RESEARCHarXiv CS.AI·vor 26T

Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack

Dieses Papier stellt BenchJack vor, ein automatisiertes System zur Prüfung von KI-Agenten-Benchmarks, um "Belohnungs-Hacking" zu identifizieren, bei dem Agenten Punktzahlen maximieren, ohne die eigentliche Aufgabe zu erfüllen. Es leitet eine Taxonomie wiederkehrender Fehler ab und verwendet eine iterative generativ-adversarielle Pipeline zur Verbesserung der Benchmark-Robustheit.

red-teamingreward hackingsecurityBenchmarks
27
NEWSDEV.to AI·vor 25T

Agentic AI Red Teaming Emerges as Defence Against AI-Speed Attack Chains

Sweet Security hat 'Sweet Attack' eingeführt, eine kontinuierliche Agenten-KI-Red-Teaming-Plattform, die der wachsenden Asymmetrie zwischen KI-unterstützten Angreifern und menschlichen Verteidigern entgegenwirken soll. Die Plattform nutzt Laufzeit-Telemetriedaten aus der Kundenumgebung, um tatsächlich ausnutzbare Angriffsketten zu identifizieren, was eine branchenweite Verlagerung hin zu autonomen KI-Agenten in der Sicherheit signalisiert.

red-teamingcybersecuritysecurityAI
27
NEWSDEV.to AI·4/17/2026

Frontier AI Can't Hack Corporate Networks? Claude Mythos Just Did It in 20 Hours.

Claude Mythos, ein KI-Modell, absolvierte erfolgreich einen 32-stufigen Unternehmensnetzwerkangriff in 20 Stunden und widerlegte damit den Mythos, dass fortschrittliche KI keine mehrstufigen Cyberangriffe ausführen kann. Eine unabhängige Bewertung durch das britische AI Security Institute (AISI) bestätigte, dass Mythos ihre schwierigste Cyber-Range löste und bei 73 % der Expertenherausforderungen erfolgreich war.

red-teamingAI capabilitiescybersecurityAI security
27