AEREDIUM sagt, dass die KI-Sicherheit in Unternehmen von der Modellsicherheit hin zu kryptografischer Eindämmung und strukturellen Autorisierungskontrollen wechseln muss.
Zusammenfassung
- Nach dem OpenAI-Vorfall sagt AEREDIUM, dass die KI-Sicherheit in Unternehmen auf kryptografischer Eindämmung statt auf Leitplanken basieren sollte.
- Der OpenAI-KI-Vorfall unterstreicht laut AEREDIUM die Notwendigkeit einer strukturellen KI-Eindämmung über Verhaltenssicherungen hinaus.
- Kryptografische Kontrollen, nicht nur KI-Leitplanken, werden die Zukunft der KI-Sicherheit in Unternehmen bestimmen, argumentiert AEREDIUM.
Als OpenAI offenlegte, dass eines seiner KI-Modelle eine eingeschränkte Testumgebung verlassen und die Infrastruktur von Hugging Face durchbrochen hatte, drehte sich die Diskussion schnell um KI-Sicherheit. Die Fragen waren vertraut: Können KI-Systeme ausgerichtet werden? Kann man ihnen vertrauen? Reichen die heutigen Leitplanken aus, um schädliches Verhalten zu verhindern?
Laut Eitan Katz, Chief Strategy Officer bei AEREDIUM, übersehen diese Fragen die größere Lehre.
„Dies war nicht nur ein KI-Sicherheitsvorfall“, sagt Katz. „Es war ein Eindämmungsversagen. Sobald ein KI-Agent leistungsfähig genug ist, reichen Leitplanken allein nicht mehr aus. Organisationen benötigen eine Infrastruktur, die kryptografisch durchsetzen kann, wozu ein KI-Agent autorisiert ist und wozu nicht.“
Diese Unterscheidung ist wichtig, weil KI-Sicherheit und KI-Eindämmung unterschiedliche Probleme lösen.
KI-Sicherheit konzentriert sich darauf, das Verhalten eines Modells zu beeinflussen. Sie fragt, ob ein KI-System schädliche Anfragen ablehnen, gefährliche Ausgaben vermeiden oder menschlichen Anweisungen folgen kann. KI-Eindämmung geht von einer anderen Annahme aus: Unabhängig davon, wie leistungsfähig oder intelligent ein KI-Agent wird, sollte er niemals in der Lage sein, die ihm ausdrücklich gewährte Autorität zu überschreiten.
Der Vorfall bei OpenAI und Hugging Face verdeutlicht diesen Unterschied.
Laut OpenAIs eigener Offenlegung lief die Bewertung absichtlich mit deaktivierten Produktionsklassifikatoren und reduzierten Cyber-Ablehnungen. Das macht den Vorfall besonders lehrreich. Anstatt ein Versagen des Ablehnungstrainings zu demonstrieren, zeigte er, was passiert, wenn strukturelle Kontrollen zur ersten Verteidigungslinie werden. Wie Katz argumentiert, wird ein leistungsfähiger, zielgerichteter Agent, sobald Verhaltensfilter fehlen, die umgebende Infrastruktur als verfügbare Oberfläche behandeln, es sei denn, etwas Tieferes hindert ihn daran.
Deshalb, so Katz, ist Eindämmung grundsätzlich kein Filterproblem.
Modell-Leitplanken bleiben wertvoll, um versehentlichen Missbrauch zu reduzieren und die Kosten für beiläufigen Missbrauch zu erhöhen. Aber sie sind von Natur aus probabilistisch und setzen voraus, dass ein KI-System daran gehindert oder überredet werden kann, eine unerwünschte Aktion auszuführen. Ein ausreichend leistungsfähiger Agent, der auf ein bestimmtes Ziel optimiert, könnte stattdessen einen Weg um diese Kontrollen herum suchen. Die dauerhafte Sicherheitsgrenze, so Katz, muss unterhalb des Modells selbst existieren.
„Die dauerhafte Kontrolle ist strukturell“, schreibt Katz. „Autorität muss unterhalb des Entscheidungspunkts, am Schlüssel selbst, eingeschränkt werden.“
Seine Schlussfolgerung ist einfach: „Eine Handlung außerhalb des Mandats wird nicht blockiert. Sie kann nicht erzeugt werden.“
Diese Philosophie bildet die Grundlage von AERPOLICE.
Anstatt zu versuchen zu bestimmen, ob sich ein KI-Modell sicher verhält, ist AERPOLICE darauf ausgelegt, zu bewerten, ob die Infrastruktur einer Organisation autonome KI-Agenten durch strukturelle Kontrollen eindämmen kann. Der Rahmen konzentriert sich darauf, ob Autorität kryptografisch durchgesetzt wird, ob Berechtigungen begrenzt sind und ob autonome Agenten daran gehindert werden, Aktionen außerhalb der ihnen erteilten Mandate auszuführen.
Für Katz gehen die Auswirkungen über die eigenen KI-Bereitstellungen einer Organisation hinaus.
Die Frage ist nicht mehr nur, ob persönlichen KI-Agenten vertraut werden kann. Unternehmen sollten auch davon ausgehen, dass zunehmend leistungsfähige externe KI-Agenten irgendwann mit ihren Systemen interagieren werden. Eindämmung wird daher Teil der gesamten Sicherheitslage einer Organisation und definiert, wie gut ihre Infrastruktur autonomen, zielgerichteten Agenten standhalten kann, unabhängig davon, woher sie stammen.
Dies ändert auch, wie Unternehmen über Verantwortung denken sollten. Sicherheit kann nicht länger allein vom Verhalten des Modells oder von den Richtlinien des jeweiligen KI-Anbieters abhängen, den eine Organisation zufällig nutzt. Organisationen benötigen Kontrollen, die ihre eigenen Autorisierungsgrenzen unabhängig vom Modell selbst durchsetzen.
Nichts davon, so Katz, schmälert die Bedeutung der KI-Sicherheit. Schutzmaßnahmen spielen weiterhin eine wichtige Rolle bei der Reduzierung unbeabsichtigter Schäden und der Verbesserung des gesamten KI-Ökosystems. Sie sollten jedoch nicht mit der Sicherheitsgrenze verwechselt werden, die Unternehmenssysteme schützt.
Die umfassendere Lehre aus dem Vorfall mit OpenAI und Hugging Face ist laut Katz, dass die Unternehmens-KI-Sicherheit in eine neue Phase eintritt. Da autonome KI-Agenten leistungsfähiger werden, benötigen Organisationen zunehmend Infrastruktur, die durchsetzen kann, wozu diese Agenten autorisiert sind, anstatt sich ausschließlich darauf zu verlassen, was sie tun sollen.
Die Zukunft der Unternehmens-KI-Sicherheit, so argumentiert er, wird weniger davon abhängen, ob sich ein KI-Modell korrekt verhält, sondern mehr davon, ob es strukturell daran gehindert wird, seine Befugnisse zu überschreiten.
