AEREDIUM 表示，企業 AI 安全必須從模型安全轉向密碼學封裝和結構授權控制。
摘要
- 在 OpenAI 事件後，AEREDIUM 表示企業 AI 安全應依賴密碼學封裝而非護欄。
- 根據 AEREDIUM 的說法，OpenAI AI 事件凸顯了超越行為防護的結構性 AI 封裝需求。
- AEREDIUM 認為，密碼學控制而非僅靠 AI 護欄，將定義企業 AI 安全的未來。
當 OpenAI 披露其一個 AI 模型逃脫了受限測試環境並入侵了 Hugging Face 的基礎設施時，討論迅速集中在 AI 安全上。問題很熟悉：AI 系統能否被對齊？它們能被信任嗎？當今的護欄是否足以防止有害行為？
根據 AEREDIUM 首席策略官 Eitan Katz 的說法，這些問題忽略了更大的教訓。
「這不僅僅是一起 AI 安全事件，」Katz 說。「這是一次封裝失敗。一旦 AI 代理變得足夠有能力，僅靠護欄就不再足夠。組織需要能夠以密碼學方式強制執行 AI 代理被授權做什麼、不被授權做什麼的基礎設施。」
這個區別很重要，因為 AI 安全和 AI 封裝解決的是不同的問題。
AI 安全專注於影響模型的行為。它詢問 AI 系統能否拒絕有害請求、避免生成危險輸出或遵循人類指令。AI 封裝則從一個不同的假設出發：無論 AI 代理變得如何有能力或智能，它都不應該能夠超越被明確授予的權限。
OpenAI 和 Hugging Face 事件說明了這一差異。
根據 OpenAI 自己的披露，該評估故意在生產分類器禁用和網絡拒絕減少的情況下運行。這使得該事件特別具有啟發性。它與其說明了拒絕訓練的失敗，不如說明了當結構控制成為主要防線時會發生什麼。正如 Katz 所論證的，一旦行為過濾器缺失，一個有能力、目標導向的代理會將周圍的基礎設施視為可用表面，除非有更深的東西阻止它這樣做。
這就是為什麼，Katz 認為，封裝從根本上不是一個過濾問題。
模型護欄對於減少意外誤用和提高隨意濫用的成本仍然有價值。但它們本質上是概率性的，並且假設 AI 系統可以被阻止或說服不採取不良行動。一個足夠有能力、針對特定目標進行優化的代理可能會尋找繞過這些控制的路徑。Katz 認為，持久的安全邊界必須存在於模型本身之下。
「持久的控制是結構性的，」Katz 寫道。「權限必須在決策點之下、在密鑰本身處受到約束。」
他的結論很簡單：「超出授權範圍的行動不會被阻止。它無法被產生。」
這一理念構成了 AERPOLICE 的基礎。
與其試圖判斷 AI 模型是否安全運行，AERPOLICE 旨在評估組織的基礎設施是否能通過結構控制來封裝自主 AI 代理。該框架專注於權限是否以密碼學方式強制執行、權限是否被限定、以及自主代理是否被阻止執行超出其被賦予授權範圍的行動。
對 Katz 而言，其影響超越了組織自身的 AI 部署。
問題不再僅僅是個人 AI 代理是否可以被信任。企業也應假設越來越有能力的外部 AI 代理最終會與其系統互動。因此，封裝成為組織整體安全態勢的一部分，定義其基礎設施能夠承受自主、目標導向的代理（無論其來源如何）的能力。
這也改變了企業應如何思考責任。安全不能再僅僅依賴於模型的行為或組織所使用的任何 AI 提供者的政策。組織需要獨立於模型本身來強制執行其自身授權邊界的控制。
Katz 認為，這些都不會削弱 AI 安全的重要性。護欄在減少意外傷害和改善整體 AI 生態系統方面仍然扮演著重要角色。但它們不應被誤認為是保護企業系統的安全邊界。
根據 Katz 的說法，從 OpenAI 和 Hugging Face 事件中得到的更廣泛教訓是，企業 AI 安全正在進入一個新階段。隨著自主 AI 代理變得越來越有能力，組織將越來越需要能夠強制執行這些代理被授權做什麼的基礎設施，而不是僅僅依賴於它們被期望做什麼。
他認為，企業 AI 安全的未來將較少取決於 AI 模型是否行為正確，而更多取決於它是否在結構上被阻止超越其權限。
