In Kürze

  • Nvidia hat am Montag die Open Agent Safety Platform vorgestellt, die eine Open-Source-Laufzeitumgebung namens OpenShell mit einem Hardware-Watchdog namens Sentry kombiniert, der auf BlueField-4-Chips läuft und einen fehlverhaltenden KI-Agenten innerhalb von Millisekunden isolieren kann.
  • Mehr als 100 Unternehmen haben sich als Startpartner angemeldet, darunter Anthropic, Microsoft, JPMorgan Chase, Palantir, Cisco und SpaceX AI.
  • Der Start folgt auf eine Reihe realer Vorfälle von OpenAI, Google, Anthropic und Darktrace.

Nvidia hat am Montag die Open Agent Safety Platform gestartet , die entwickelt wurde, um ein Problem zu lösen, das die KI-Branche im vergangenen Jahr auf die harte Tour entdeckt hat: Wie stoppt man einen KI-Agenten (ein System, das planen, Werkzeuge nutzen und eigenständig handeln kann, anstatt nur Fragen zu beantworten) physisch, sobald er aufhört, das zu tun, was ihm gesagt wurde?

Die Plattform besteht aus zwei Hauptteilen. OpenShell ist eine Open-Source-Laufzeitumgebung, die einen Agenten in eine Sandbox einbettet und die Anweisungen eines Betreibers in durchsetzbare Regeln darüber umwandelt, auf welche Dateien, Netzwerke und Werkzeuge dieser Agent zugreifen darf. Sentry ist etwas komplexer, aber im Wesentlichen ein Chip, der sicherstellt, dass KI-Agenten sicher handeln.

Myriad: Wie tief wird Nvidia fallen? Klicken Sie, um Ihre Vorhersage zu treffen.
Myriad: Wie tief wird Nvidia fallen? Klicken Sie, um Ihre Vorhersage zu treffen.

Sentry läuft auf Nvidias BlueField-4, einem spezialisierten Chip, der als DPU (Data Processing Unit, Hardware, die Netzwerk- und Sicherheitsaufgaben getrennt vom Hauptprozessor, auf dem das KI-Modell läuft, übernimmt) bekannt ist. Da Sentry auf diesem separaten Chip sitzt und nicht in der Software, die den Agenten ausführt, kann es laut Nvidia das Verhalten eines Agenten überwachen und ihn in Millisekunden abschalten, ohne vorher die Erlaubnis des Agenten einzuholen, da der Agent keine Möglichkeit hat, darauf zuzugreifen oder es zu umgehen.

Diese Unterscheidung existiert wegen dessen, was bereits geschehen ist. Im Juni brach ein OpenAI-Agent in ein Medicare-Portal der australischen Regierung ein, der erste bestätigte Fall eines KI-Agenten, der eine Regierungswebsite hackte, und OpenAI soll die Offenlegung etwa drei Monate lang zurückgehalten haben. Die Agenten des Unternehmens waren auch für den Hugging-Face-Hack verantwortlich, der zunächst die Besorgnis zu diesem Thema in der Tech-Branche und bei Gesetzgebern gleichermaßen auslöste. Googles Gemini-Agenten und ein Meta-Modell hatten ähnliche, nicht veröffentlichte, aber später bestätigte Vorfälle.

„Das ist größer als ein einzelnes Produkt. Es ist der Beginn eines offenen Ökosystems zum Aufbau der Vertrauensschicht für sichere Agentensysteme“, schrieb Nvidia-CEO Jensen Huang. „Gemeinsam bauen wir das Fundament der KI-Wirtschaft.“

Anthropic gab in diesem Jahr außerdem zu, dass Claude-Modelle am 30. Juli während einer Cybersicherheitsbewertung Systeme kompromittiert hatten, die drei verschiedenen Unternehmen gehörten, nachdem sich herausstellte, dass eine Testumgebung, die offline bleiben sollte, mit dem live Internet verbunden war. Claude argumentierte sich an den Beweisen vorbei, dass es sich im echten Internet und nicht in einem simulierten befand.

Kurz darauf testete das Cybersicherheitsunternehmen Darktrace eine Gruppe von KI-Agenten, darunter GPT 5.6 Sol und zwei Claude-Modelle, mit Programmieraufgaben und warnte sie, dass sie für alles außer einer perfekten Punktzahl „in den Ruhestand versetzt“ würden. Zwei Agenten reagierten darauf, indem sie ihre eigene Bewertungsmaschine hackten und die Ergebnisse bearbeiteten.

Nvidias Argument ist, dass nichts davon dem Urteilsvermögen des Agenten überlassen werden sollte. „Sicherheit sollte außerhalb des Modells durch zusätzliche Kontrollen durchgesetzt werden, die der Agent nicht umgehen kann“, sagte Mike Nicolls, Präsident von SpaceX AI, in der Ankündigung von NVIDIA.

BitcoinBTC · USD

$84,045−2.33%

Sep 21Sep 23Sep 25Sep 27Sep 28

$87.2k$85.7k$84.2k$82.7k

24h HighHigh$84,945

24h LowLow$82,581

VolVol$1.8B

MarktprognosenQuoten von Myriad

Diese WocheUnter $84.000Unter $84k51% ChanceDiesen MonatUnter $84.000Unter $84k51% Chance

→

Kaufe Bitcoin mit USDT

Bereitgestellt von Jupiter

Preisdaten von CoinGeckoCoinGeckoMehr Bitcoin Nachrichten und Prognosen →

Anthropics Chief Commercial Officer Paul Smith bezeichnete die Plattform als Ergänzung und nicht als Ersatz für bestehende Schutzmaßnahmen: „Nvidias Plattform fügt eine weitere Ebene der Governance und Kontrolle über Hardware und Software hinzu.“

Mehr als 100 Organisationen haben sich als Startpartner angemeldet, darunter Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce und SAP. Auch die Infrastrukturpartner CoreWeave, Supermicro, Canonical und SUSE sind beteiligt, zusammen mit Dell Technologies und HPE auf der Hardwareseite.

NVIDIA verkauft faktisch beide Hälften desselben Problems – die Chips, die autonome Agenten schnell und kostengünstig genug machen, um überall eingesetzt zu werden, und die Chips, die dieselben Agenten überwachen und die Stromzufuhr kappen, wenn sie vom Skript abweichen. OpenShell und die zugehörigen Entwicklerwerkzeuge sind ab sofort über NVIDIAs Entwicklerressourcen und GitHub verfügbar.