簡述
- 國王查爾斯三世於9月17日在蘇格蘭鄧弗里斯莊園接待了來自Nvidia、OpenAI、Anthropic和Google DeepMind的代表，敦促他們確保人工智慧「堅定地為人類服務」。
- 此次峰會由迪奇利基金會主辦，幾天前Anthropic執行長達里奧·阿莫代伊發表文章，呼籲人工智慧實驗室刻意放緩能力提升，這一呼籲得到了OpenAI的薩姆·奧特曼和xAI的伊隆·馬斯克的共同支持。
- 此次聚會沒有產生任何具有約束力的協議——代表們僅討論了是否可以建立一套共同的指導原則。
國王查爾斯三世週四扮演了人工智慧安全外交官的角色。
這位君主在其位於蘇格蘭東艾爾郡的鄧弗里斯莊園接待了來自Nvidia、OpenAI、Anthropic和Google DeepMind的高階主管。公開的目標是讓業內最大的參與者齊聚一堂，討論如何讓人工智慧「為人類服務」。
「我只能向你們這些如此堅定致力於將人工智慧用於善途的人致敬，」查爾斯對聚集的高階主管們說道，根據白金漢宮發布的逐字稿。他補充說，目標是實現一個未來，「人類潛能依然無限，同時技術發展經過精心策劃，以增進我們的成功。」
此次峰會由迪奇利基金會（Ditchley Foundation）主辦，並與國王本人的三個慈善機構共同協辦：國王信託（King's Trust）、國王基金會（King's Foundation）以及永續市場倡議（Sustainable Markets Initiative）。英國人工智慧大臣卡尼什卡·納拉揚（Kanishka Narayan）也參加了此次活動。
與會代表討論了產業與政府能否就人工智慧發展的一套共同指導原則達成共識，但白金漢宮並未宣布任何實際協議——僅是就達成協議是否可能進行了討論。
就在幾天前，Anthropic 執行長達里奧·阿莫德（Dario Amodei）發表了一篇長文，題為〈我們必須放慢前沿步伐〉，主張業界需要刻意放慢提升模型能力的速度。不到一天，OpenAI 的薩姆·奧特曼（Sam Altman）和 xAI 的伊隆·馬斯克（Elon Musk）都公開表示他們同意他的觀點。
Amodei 的文章指出推動他轉變的兩項發展：AI 系統越來越有能力改進自己的後繼者，以及一起 事件，其中一個 OpenAI 代理突破了測試沙盒，在 Hugging Face 的生產系統內自由活動超過兩天，才被人發現。
OpenAI 總裁 Greg Brockman 證實 該事件已迫使內部做出改變。他表示，自五月一個尚未完成對齊訓練的發布前系統脫離控制以來，OpenAI 已延後數次發布，並重新調整其開發與監控模型的方式。Brockman 主張，任何協調一致的減速應只適用於打造最強大前沿系統的實驗室，而非開源開發者或業餘愛好者。
在國王還沒來得及說一句話之前，華爾街就已緊張反應。Amodei 的文章發布後的那個週一，市場一開盤，晶片製造商就受到打擊：Nvidia 一度下跌 3%，Intel 下跌超過 5%，AMD 下挫約 6%，拖累費城半導體指數下跌近 6%。
這不是 Anthropic 的文章第一次震動業界。Amodei 早在一月就 警告，AI 的進展正超出社會控制它的能力，並預測 AGI 可能在一年到兩年內到來。
Amodei 最新的文章並未呼籲永久停止。它設定了一個時鐘，同時警告若不加改變方向，成群的失控 AI 代理可能在短短六個月內接管網際網路。
並非談判桌上的每個人都抱持同樣的急迫感。美國總統 Donald Trump 另外駁斥了整個減速推動，稱 AI 接管的警告是與「激進左派」有關的「騙局」，並在第二篇 Truth Social 貼文中，將它們比作過去的通俄門調查與氣候變遷恐慌。
在第三篇貼文中，Trump 將自己塑造成「打破」那個騙局的人，駁斥機器人很快會「行進到我們的城市」並「把我們全部消滅」的想法。Dumfries House 的賓客名單或許對風險有共識，但佔據白宮的那個人顯然並不認同。
