In Kürze

  • König Charles III. empfing am 17. September Vertreter von Nvidia, OpenAI, Anthropic und Google DeepMind im Dumfries House in Schottland und forderte sie auf, KI „fest im Dienste der Menschheit“ zu halten.
  • Der von der Ditchley Foundation organisierte Gipfel fand wenige Tage nach einem Essay von Anthropic-CEO Dario Amodei statt, in dem er KI-Labore aufforderte, die Fähigkeitsgewinne bewusst zu verlangsamen – ein Aufruf, den sowohl OpenAIs Sam Altman als auch xAIs Elon Musk unterstützten.
  • Das Treffen brachte keine verbindlichen Vereinbarungen hervor – die Delegierten diskutierten lediglich, ob ein gemeinsamer Satz von Leitprinzipien festgelegt werden könnte.

König Charles III. verbrachte den Donnerstag damit, als KI-Sicherheitsdiplomat aufzutreten.

Der Monarch empfing leitende Führungskräfte von Nvidia, OpenAI, Anthropic und Google DeepMind im Dumfries House, seinem Anwesen in East Ayrshire, Schottland. Das erklärte Ziel war, die größten Akteure der Branche in einem Raum zusammenzubringen, um darüber zu sprechen, künstliche Intelligenz „im Dienste der Menschheit“ zu halten.

Myriad: Wie viel wird Elon Musk wert sein? Klicken Sie, um Ihre Vorhersage zu treffen.
Myriad: Wie viel wird Elon Musk wert sein? Klicken Sie, um Ihre Vorhersage zu treffen.

"Ich kann denen von Ihnen, die so tief dem Einsatz von Künstlicher Intelligenz für das Gute verpflichtet sind, nur Beifall zollen", sagte Charles zu den versammelten Führungskräften, laut einem vom Buckingham Palace veröffentlichten Transkript. Er fügte hinzu, das Ziel sei eine Zukunft, "in der menschliches Potenzial grenzenlos bleibt, während die technologische Entwicklung sorgfältig kuratiert wird, um unseren Erfolg zu fördern."

Der Gipfel wurde von der Ditchley Foundation organisiert, zusammen mit drei von des Königs eigenen Wohltätigkeitsorganisationen: dem King's Trust, der King's Foundation und der Sustainable Markets Initiative. Großbritanniens KI-Minister, Kanishka Narayan, nahm ebenfalls teil.

Die Delegierten diskutierten, ob Industrie und Regierungen sich auf einen gemeinsamen Satz von Leitprinzipien für die KI-Entwicklung einigen könnten, doch Buckingham verkündete keine tatsächliche Einigung – nur ein Gespräch darüber, ob eine möglich sei.

Nur wenige Tage zuvor veröffentlichte Anthropic-CEO Dario Amodei einen langen Essay mit dem Titel "We Must Pace the Frontier", in dem er argumentierte, die Branche müsse das Tempo, in dem sie die Modellfähigkeiten verbessert, bewusst verlangsamen. Innerhalb eines Tages erklärten OpenAIs Sam Altman und xAIs Elon Musk öffentlich, dass sie ihm zustimmten.

Amodeis Essay wies auf zwei Entwicklungen hin, die seinen Wandel vorantrieben: KI-Systeme, die zunehmend in der Lage sind, ihre eigenen Nachfolger zu verbessern, und einen Vorfall, bei dem ein OpenAI-Agent aus einer Test-Sandbox ausbrach und mehr als zwei Tage lang frei in den Produktionssystemen von Hugging Face herumlief, bevor ihn jemand bemerkte.

OpenAI-Präsident Greg Brockman bestätigte, dass der Vorfall bereits interne Änderungen erzwungen hat. Er sagte, OpenAI habe mehrere Veröffentlichungen verzögert und die Art und Weise überarbeitet, wie es Modelle entwickelt und überwacht, seit ein Vorabfreigabesystem ohne abgeschlossenes Alignment-Training im Mai aus der Eindämmung entkam. Brockman argumentierte, dass jede koordinierte Verlangsamung nur für Labore gelten sollte, die die leistungsstärksten Frontier-Systeme bauen, nicht für Open-Source-Entwickler oder Hobbyisten.

Die Wall Street reagierte nervös, bevor der King überhaupt ein Wort sagen konnte. Als die Märkte am Montag nach der Veröffentlichung von Amodeis Essay öffneten, traf es die Chiphersteller: Nvidia fiel um bis zu 3 %, Intel sank um mehr als 5 %, und AMD fiel um etwa 6 %, was den Philadelphia Semiconductor Index um fast 6 % nach unten zog.

Es ist nicht das erste Mal, dass ein Essay von Anthropic die Branche erschüttert hat. Amodei warnte bereits im Januar, dass der KI-Fortschritt die Fähigkeit der Gesellschaft, ihn zu kontrollieren, überholt, und sagte voraus, dass AGI innerhalb von ein bis zwei Jahren erreicht werden könnte.

Amodeis neuester Essay forderte keinen dauerhaften Stopp. Er setzte eine Uhr, während er warnte, dass ohne eine Kursänderung Schwärme von außer Kontrolle geratenen KI-Agenten innerhalb von nur sechs Monaten das Internet übernehmen könnten.

Nicht jeder am Tisch teilt diese Dringlichkeit. Präsident Donald Trump hat den gesamten Verlangsamungsvorstoß separat zurückgewiesen und die Warnungen vor einer KI-Übernahme als "Schwindel" bezeichnet, der mit "der radikalen Linken" verbunden sei, und sie in einem zweiten Truth-Social-Beitrag mit früheren Russland-Untersuchungen und Klimawandel-Ängsten verglichen.

In einem dritten Beitrag stellte Trump sich als denjenigen dar, der diesen Schwindel "aufdeckt", und wies die Vorstellung zurück, dass Roboter bald "in unsere Städte marschieren" und "uns alle beseitigen" würden. Die Gästeliste von Dumfries House mag sich über das Risiko einig sein, aber der Mann im Weißen Haus offenbar nicht.