Mitglieder der Open Secure AI Alliance – inzwischen mehr als 120 Organisationen stark – entwickeln neue Richtlinien zur Stärkung der Cybersicherheit agentenbasierter KI, während die jährlich stattfindende Black Hat-Konferenz heute in Las Vegas beginnt.
Die Linux Foundation hat heute einen Request for Comments zum Shared AI Findings Exchange (SAFE) veröffentlicht – eine vorgeschlagene Reihe von Richtlinien, die darauf ausgelegt ist, agentenbasierte Cybersicherheitsvorfälle in gemeinsamen Schutz für das gesamte Ökosystem zu überführen.
Die SAFE-Richtlinien werden derzeit von einer Arbeitsgruppe der Open Secure AI Alliance erarbeitet. NVIDIA, Cisco, CrowdStrike, Hugging Face und Red Hat gehören zu den Mitgliedern der Open Secure AI Alliance, die mit der Linux Foundation zusammenarbeiten, um zum ursprünglichen Vorschlag beizutragen.
Die SAFE-Richtlinien umfassen Vorschläge, KI-Vorfälle und Beinahe-Vorfälle vertraulich zu erfassen und zu analysieren, die Betroffenen zu informieren, wiederkehrende Ausfälle von Kontrollmechanismen zu identifizieren und evidenzbasierte Betriebsempfehlungen zu veröffentlichen, die das systemische Risiko verringern.
Cybersicherheit ist ein Wettlauf ohne Ziellinie. Jeder größere technologische Wandel hat neue potenzielle Angriffsflächen geschaffen. Verteidiger müssen jetzt mit Agentengeschwindigkeit agieren, um schnell zu reagieren und Infrastruktur sowie geistiges Eigentum zu schützen – und der beste Weg dorthin ist die Zusammenarbeit. Wenn vertrauenswürdige Ökosysteme Bedrohungsinformationen offen austauschen, wird die kollektive Verteidigung zu einem Kraftmultiplikator.
Open Secure AI Alliance stellt weitere Tools für KI-Cybersicherheit bereit
Das SAFE-Framework ergänzt die Technologiebeiträge, die Mitglieder der Open Secure AI Alliance im Rahmen einer gemeinsamen Verpflichtung leisten, offene, überprüfbare Tools über den gesamten KI-Sicherheits-Stack hinweg zu entwickeln und bereitzustellen.
Ein KI-Agent ist nicht nur ein Modell. Er ist ein System – Identitätskontrollen, Harnesses, Guardrails, Protokolle und Evaluierung – und seine Absicherung erfordert mehr als das Scannen nach Schwachstellen.
Sicherheit war immer dann am stärksten, wenn sie in Schichten aufgebaut ist – und wenn die Community bereit ist, ihr Wissen zu teilen. Die schwierigsten Probleme werden gelöst, wenn Verteidiger offen und schnell voneinander lernen.
Full Stack offener NVIDIA-Cybersicherheitssoftware und -Modelle
Die Beiträge von NVIDIA erstrecken sich über die gesamte Länge des Stacks, beginnend mit dem NVIDIA Labs Object-Oriented Agent (NOOA) Research-Harness, auf GitHub, der das Verhalten von Agenten leichter testbar, nachvollziehbar, überprüfbar und steuerbar macht.
Die NVIDIA OpenShell-Runtime beschränkt, was ein Agent sehen, berühren und tun kann – und setzt Sicherheits- und Datenschutzkontrollen auf Agentenebene durch, sodass ein Agent nicht erreichen kann, was er nicht erreichen darf.
NVIDIAs offene Modellfamilien – NVIDIA Nemotron für agentenbasierte KI, NVIDIA Cosmos für physische KI, NVIDIA Isaac GR00T für Robotik, NVIDIA BioNeMo für Gesundheitswesen und Life Sciences sowie NVIDIA Alpamayo, das weltweit größte für den kommerziellen Einsatz lizenzierte Modell für autonome Fahrzeuge – werden mit offenen Gewichten, Datensätzen und Trainingsmethoden ausgeliefert.
Die von NVIDIA als Open Source veröffentlichten verifizierten Agent Skills erweitern dieses Vertrauen auf die Fähigkeitsebene.
Jeder Skill stellt portable Instruktionssätze bereit – katalogisiert, auf Risiken wie Prompt Injection und Tools Poisoning geprüft, kryptografisch signiert und mit einer Skill Card dokumentiert. Verteidiger wissen genau, was ein Agent Skill tut, woher er stammt und ob er nach der Veröffentlichung verändert wurde.
NeMo Guardrails, NeMo Anonymizer und NeMo Safe Synthesizer helfen dabei, Sicherheitsrichtlinien durchzusetzen, sensible Daten zu schützen und datenschutzkonforme synthetische Daten zu generieren.
Und Garak, der Open-Source-Schwachstellenscanner von NVIDIA für LLMs, ermöglicht Sicherheitsteams, Modelle bereits vor der Auslieferung auf Datenlecks, Prompt Injections und Jailbreak-Szenarien zu prüfen.
Mitglieder der Allianz erweitern Werkzeuge für die Entwicklung offener Ökosysteme
Weitere Mitglieder der Open Secure AI Alliance haben ebenfalls über den gesamten Verteidigungs-Stack hinweg entwickelt – von Identität und Berechtigungen über Harnesses, Runtime-Guardrails, Sicherheits-KI-Modelle, Observability und Evaluierung, Datensicherheit und Datenschutz bis hin zu Verfügbarkeit und Resilienz und mehr.
Einige der neuesten Beiträge auf verschiedenen Ebenen des Stacks werden im Folgenden hervorgehoben; weitere folgen kontinuierlich.
Identität und Berechtigungen – wer handeln darf
Was sich nicht identifizieren lässt, lässt sich nicht schützen.
Okta entwickelt Referenzimplementierungen für Agentenidentität und -zugriff und zeigt, wie Cross App Access (XAA), ein offenes Protokoll, es KI-Agenten, die in OpenShell-Sandbox-Umgebungen ausgeführt werden, ermöglicht, sich sicher mit Unternehmensanwendungen zu verbinden.
Palo Alto Networks hat Open-Source-Tools aus Idira, seiner Identitätssicherheitsplattform der nächsten Generation, beigesteuert, darunter Agent Guard und Agent Watch. Diese Tools helfen Entwicklern und Agentenerstellern, Best Practices und Schutzmaßnahmen für Identitätssicherheit anzuwenden, etwa das sichere Abrufen von Secrets für agentenbasierte Workflows.
Ein neues von Red Hat gegründetes Open-Source-Projekt, asago, übernimmt die individuellen Governance-Anforderungen einer Organisation – etwa jene, auf die NIST, OWASP und die EU-KI-Verordnung verweisen – und ordnet sie direkt dem zu, was Agenten zur Laufzeit erlaubt ist, mit einem einzigen Audit-Trail von der Richtlinienklausel bis zur aktiven Kontrolle.
Harnesses und Tooling – wie Sicherheitsarbeit orchestriert wird
KI-Agenten sind mehr als ein Modell – sie greifen auf Systeme aus offenen und geschlossenen Modellen, Harnesses, Tools und Runtimes zu, um Aufgaben zu erledigen.
Ist das Modell das Gehirn des Agenten, so ist der Harness der Körper, der mithilfe von Tools handelt. Der Harness um das Modell fungiert als Orchestrator, der bestimmt, wie Agenten bereitgestellt, koordiniert und eingeschränkt werden.
Mitglieder der Allianz steuern Tooling, Harnesses und unterstützende Technologien für diese neu entstehende Ebene des KI-Sicherheits-Stacks bei.
Amazon, das heute eines der neuesten Mitglieder der Open Secure AI Alliance wurde, steuert Strands Agents bei, ein Open-Source-Toolkit für die Entwicklung von KI-Agenten, das auf jeder Ebene offen ist und Entwicklern vollständige Transparenz über das Verhalten von Agenten sowie die Möglichkeit bietet, agentenbasierte Systeme im Produktivbetrieb zu evaluieren. Amazon steuert zudem Cedar bei, eine Open-Source-Autorisierungssprache, die deterministische, überprüfbare Grenzen für die zulässigen Aktionen von KI-Agenten durchsetzt und Kunden feingranulare, analysierbare Zugriffskontrollen bietet, um sicherzustellen, dass ausschließlich autorisierte Aktionen Unternehmensressourcen erreichen.
Capital One hat VulnHunter für die Codesicherheit im Bereich agentenbasierter KI als Open Source veröffentlicht.
Cloudflare stellt sein Vulnerability Discovery Harness als Open-Source-Skill zur Verfügung, um Agentensysteme sicherer zu machen.
Das Microsoft AI Red Team hat mehrere Tools und Harnesses als Open Source veröffentlicht. PyRIT – Python Risk Identification Toolkit ermöglicht KI-Red-Teamern die Durchführung automatisierter Red-Teaming-Prozesse mit integriertem Speicher und unterstützt gängige Ziele sowie benutzerdefinierte Endpunkte.
RAMPART überführt Red-Team-Erkenntnisse und Vorfälle aus der Praxis in wiederholbare Tests, die bei Softwareänderungen ausgeführt werden. Clarity unterstützt Teams dabei, Design-Annahmen zu hinterfragen und potenzielle Fehler zu identifizieren, bevor Code geschrieben wird.
Microsoft hat außerdem Assert als Open Source veröffentlicht, das Anforderungen in natürlicher Sprache sowie erwartete Verhaltensweisen in Bezug auf KI-Sicherheit in ausführbare Evaluierungen umwandelt.
Atlas ist die autonome Schwachstellenforschungs-Engine von Wiz, die spezialisierte KI-Agenten orchestriert, um Sicherheitslücken in Code und Open-Source-Paketen zu entdecken und zu validieren.
Visa ist der Open Secure AI Alliance ebenfalls beigetreten und stellt sein als Open Source veröffentlichtes Visa Vulnerability Agentic Harness bereit, um Teams dabei zu unterstützen, Probleme schnell und sicher zu identifizieren sowie Behebung und Validierung zu begleiten.
Modelle – Intelligenz für KI-Sicherheit und Verteidigung
Nicht für jede Aufgabe im Bereich Security oder Safety ist ein Allzweckmodell erforderlich. Spezialisierte Security- und Safety-Modelle sind gezielt für die Verteidigung entwickelt: Sie sind darauf trainiert, Code zu verstehen, Schwachstellen zu lokalisieren und Bedrohungen in großem Maßstab zu analysieren. Sie können agentenbasierte Workflows als Systeme von Modellen unterstützen, wobei sowohl offene als auch geschlossene Modelle zusammenarbeiten, um die Aufgabe effizient zu erfüllen.
Cisco DefenseClaw ist eine Open-Source-Governance-Schicht für Agenten, die auf NVIDIA OpenShell aufsetzt, um beim Skalieren agentenbasierter Belegschaften robuste, automatisierte Sicherheit auf Runtime-Ebene zu bieten. Cisco hat zudem zwei seiner Antares Small Language Models für Security veröffentlicht, die dabei helfen, bekannte Schwachstellen innerhalb einer Codebasis punktgenau zu bestimmen; sowie Project CodeGuard, um Secure-by-Default-Praktiken direkt in KI-Coding-Workflows zu integrieren.
CrowdStrike nimmt eine Feinabstimmung des NVIDIA Nemotron Nano-Modells für die Cyberabwehr vor. In internen Tests wurde eine Genauigkeit von 96 % bei der Generierung von Untersuchungsabfragen innerhalb von Falcon LogScale erreicht, wodurch eine Schnittstelle in natürlicher Sprache bereitgestellt wird, die die Untersuchungseffizienz von Agenten erhöht. CrowdStrike hat außerdem eine Untersuchung veröffentlicht, die zeigt, wie ein spezialisiertes NVIDIA Nemotron Nano-Reasoning-Modell deutlich größere Modelle bei der Triage von Erkennungen im Security Operations Center übertrifft und dabei eine kalibrierte, Logit-basierte Konfidenz einführt, um messbare, anpassbare und überprüfbare autonome Sicherheitsentscheidungen zu ermöglichen.
Mistral hat heute sein neues multimodales Safety-Klassifikatormodell Shieldstral als Open Weights unter Apache 2.0 veröffentlicht.
Observability und Evaluierung – nachdem der Agent gehandelt hat
Zu sehen, was ein Agent getan hat, ist nur ein Teil des Gesamtbilds. Verteidiger müssen zudem verstehen, warum er gehandelt hat, ob sich das System sicher verhält und wie sich Angriffe in der Praxis weiterentwickeln.
Akamai liefert Erkenntnisse aus seinen State of the Internet-Berichten und den Forschungen der Security Intelligence Group und nutzt dabei reale Daten, um Bedrohungen im KI-Zeitalter zu beleuchten und zu erklären, wie neue Exploits funktionieren, damit Verteidiger lernen, sich anpassen und reagieren können.
Cognition veröffentlichte eine Vertrauenswürdigkeitsbewertung, die Alignment- und Sicherheitsrisiken von aus Open Source abgeleiteten Modellen misst. Die Bewertung zeigt, dass diese Risiken durch Post-Training gemindert werden können.
Numbat ist Perplexitys Open-Source-Sicherheitssuite für Agenten auf Client-Endpunkten. Sie erkennt, untersucht und verhindert Agentenaktivitäten unter macOS, Linux und Windows – und liefert Verteidigern eine strukturierte Aufzeichnung dessen, was Agenten tatsächlich getan haben.
Uber hat zentrale Komponenten von ADR (Agentic AI Detection and Response) als Open Source veröffentlicht, einem Produktionssystem, das die vollständige Kausalkette der Aktivität von KI-Agenten rekonstruiert – vom Prompt über die Argumentation und Tool-Aufrufe bis zu den Ergebnissen –, um Sicherheitsteams beim Erkennen von Bedrohungen zu unterstützen. Heute unterstützt ADR mehr als 200.000 Agentensitzungen pro Tag auf 30.000 Endpunkten und nutzt dabei einen zweistufigen Analyseansatz, der effiziente Erkennung mit einer tiefergehenden Untersuchung für Bedrohungen mit hoher Konfidenz kombiniert.
Verfügbarkeit und Resilienz – schnelle Wiederherstellung, wenn es auf jeden Moment ankommt
Agentensysteme müssen auch bei Störungen verlässlich bleiben, Ausfälle eingrenzen und sicher wiederherstellen, ohne kritische Zustände zu verlieren oder die weitere Umgebung zu exponieren.
LangChain erweitert seine Open-Source-Frameworks – Deep Agents, LangGraph und LangChain – um Resilienzfunktionen. Damit können Agenten unterbrochene Arbeiten erneut ausführen, einem sicheren Wiederherstellungspfad folgen, aus einem gespeicherten Zustand fortsetzen, anstatt neu zu beginnen, und automatisch auf alternative Modelle zurückgreifen, wenn das primäre Modell ausfällt.
Veeam unterstützt Organisationen dabei, die Daten und die Infrastruktur hinter KI resilient und wiederherstellbar zu halten – mit Technologien wie Kanister, dem Open-Source-Framework des Unternehmens für Datensicherung auf Kubernetes. Es hilft Teams, KI-Workloads, Vektordatenbanken und Daten zu schützen und in einen verifizierten, bekannt guten Zustand wiederherzustellen.
Weitere Beiträge folgen. Wenn Mitglieder wiederverwendbare Gegenmaßnahmen veröffentlichen, können Verteidiger im gesamten Ökosystem diese prüfen, anpassen und verbessern – so entwickeln sich Sicherheitspraktiken mit dem Fortschritt der KI weiter.
Treffen Sie Mitglieder der Open Secure AI Alliance auf der Black Hat heute, Dienstag, 4. August, um 17:15 Uhr PT, für ein Gruppenfoto vor der Main Stage in der Business Hall des Mandalay Bay Convention Center.
Erfahren Sie mehr oder bekunden Sie Ihr Interesse an einer Mitgliedschaft in der Open Secure AI Alliance.