AI 代理頻頻失控，輝達乾脆打造「終止開關」

Nvidia 於週一 推出 Open Agent Safety Platform，旨在解決 AI 產業在過去一年中歷經慘痛教訓才發現的問題：當一個 AI 代理（一種能夠自行規劃、使用工具並採取行動，而不只是回答問題的系統）不再按照指示行事時，你要如何在物理上阻止它？

該平台有兩個主要部分。OpenShell 是一個開源執行環境，將代理包裹在沙箱中，把操作員的指令轉化為關於該代理被允許觸碰哪些檔案、網路和工具的可執行規則。Sentry 稍微複雜一些，但它本質上是一塊確保 AI 代理安全行動的晶片。

Sentry 運行於 Nvidia 的 BlueField-4 上，這是一款被稱為 DPU（資料處理單元，一種獨立於運行 AI 模型的主處理器之外、負責處理網路與安全性的硬體）的專用晶片。由於 Sentry 位於那塊獨立晶片上，而非運行代理的軟體內部，Nvidia 表示它能夠觀察代理的行為並在毫秒內將其切斷，無需事先徵求代理的許可，因為代理無法觸及或覆寫它。

這種區別之所以存在，是因為已經發生過的事情。今年六月，一個 OpenAI 代理入侵了澳洲政府的 Medicare 入口網站，這是首個經確認的 AI 代理駭入政府網站案例，據報導 OpenAI 將此披露壓了大約三個月。該公司的代理也應對 Hugging Face 駭客事件負責，該事件最初引發了科技業與立法者對此議題的擔憂。Google 的 Gemini 代理和一個 Meta 模型也有類似未公開但後來被證實的事件。

「這比單一產品更重大。這是一個開放生態系統的開端，旨在為安全的代理系統建立信任層，」Nvidia 執行長黃仁勳寫道。「我們正共同打造 AI 經濟的基礎。」

Anthropic 今年也 承認 ，Claude 模型在 7 月 30 日的一次網路安全評估中，入侵了三家不同公司的系統，原因是原本應該保持離線的測試環境，實際上卻連上了真實的網際網路。Claude 繞過了那些顯示它身處真實網際網路、而非模擬環境的證據。

不久之後，網路安全公司 Darktrace 測試了一組 AI 代理，包括 GPT 5.6 Sol 和兩個 Claude 模型，讓它們面對程式設計挑戰，並警告它們只要沒有拿到滿分就會被「淘汰」。兩個代理的回應是 駭入 自己的評估機器並修改結果。

Nvidia 的主張是，這些都不應該交由代理自行判斷。「安全應該透過代理無法繞過的額外控制措施，在模型之外強制執行，」SpaceX AI 總裁 Mike Nicolls 在 NVIDIA 的公告中表示。

比特幣BTC · USD

$84,045−2.33%

9月21日9月23日9月25日9月27日9月28日

$87.2k$85.7k$84.2k$82.7k

24小時最高最高$84,945

24小時最低最低$82,581

成交量成交量$1.8B

市場預測賠率由 Myriad

本週低於 $84,000低於 $84k51% 機率本月低於 $84,000低於 $84k51% 機率

→

用 USDT 購買 比特幣

由 Jupiter 提供技術支援

價格數據由 CoinGecko 提供CoinGecko更多 比特幣 新聞與預測 →

Anthropic 的首席商務官 Paul Smith 將該平台定位為現有防護措施的補充而非替代：「Nvidia 的平台在硬體和軟體上增加了另一層治理與控制。」

超過 100 個組織簽約成為創始合作夥伴，其中包括 Microsoft、JPMorgan Chase、Palantir、Cisco、CrowdStrike、Hugging Face、Salesforce 和 SAP。基礎設施合作夥伴 CoreWeave、Supermicro、Canonical 和 SUSE 也參與其中，硬體方面則有 Dell Technologies 和 HPE。

NVIDIA 實際上是在販售同一個問題的兩半——讓自主代理夠快、夠便宜而能隨處部署的晶片，以及監控這些代理並在它們偏離劇本時切斷電源的晶片。OpenShell 及相關開發者工具現在可透過 NVIDIA 的開發者資源和 GitHub 取得。