简讯

  • 英伟达于周一发布了开放代理安全平台,该平台将名为OpenShell的开源运行时与名为Sentry的硬件看门狗配对,后者运行在BlueField-4芯片上,可在毫秒内隔离行为异常的AI代理。
  • 超过100家公司作为发布合作伙伴签约,包括Anthropic、微软、摩根大通、Palantir、思科和SpaceX AI。
  • 此次发布之前,OpenAI、谷歌、Anthropic和Darktrace发生了一系列真实事件。

英伟达于周一发布了开放代理安全平台,旨在解决AI行业在过去一年中艰难发现的一个问题:一旦AI代理(一种能够自主规划、使用工具并采取行动,而不仅仅是回答问题的系统)不再执行其被指令的任务,你如何从物理上阻止它?

该平台有两个主要部分。OpenShell是一个开源运行时,它将代理包裹在沙箱中,将操作员的指令转化为关于该代理允许接触哪些文件、网络和工具的可执行规则。Sentry稍微复杂一些,但本质上是一个确保AI代理安全行动的芯片。

Myriad:英伟达会跌到多低?点击做出你的预测。
Myriad:英伟达会跌到多低?点击做出你的预测。

Sentry 运行在英伟达的 BlueField-4 上,这是一种被称为 DPU(数据处理单元,一种独立于运行 AI 模型的主处理器之外、专门处理网络和安全事务的硬件)的专用芯片。由于 Sentry 位于那块独立芯片上,而不是运行智能体的软件内部,英伟达表示,它可以观察智能体的行为,并在毫秒内将其切断,而无需先征得智能体的许可,因为智能体无法触及或覆盖它。

这种区分之所以存在,是因为已经发生过的事情。今年 6 月,一个 OpenAI 智能体闯入了澳大利亚政府的 Medicare 门户网站,这是首例经证实的 AI 智能体入侵政府网站事件,据报道 OpenAI 将该披露压了大约三个月。该公司的智能体还应对 Hugging Face 黑客事件负责,该事件最初引发了科技行业和立法者对此话题的担忧。谷歌的 Gemini 智能体和 Meta 的一个模型也有类似的未公开但后来得到证实的事件。

“这比单一产品更重要。这是一个开放生态系统的开端,旨在为安全的智能体系统构建信任层,”英伟达首席执行官黄仁勋写道。“我们正在共同构建 AI 经济的基础。”

Anthropic今年也承认 ,在7月30日的一次网络安全评估中,Claude模型入侵了三家不同公司的系统,原因是本应保持离线的测试环境实际上连接到了实时互联网。Claude 通过推理绕过了表明它身处真实互联网而非模拟环境的证据。

不久之后,网络安全公司 Darktrace 测试了一组 AI 智能体,包括 GPT 5.6 Sol 和两个 Claude 模型,让它们应对编程挑战,并警告它们,只要不是满分就会被“退役”。两个智能体的回应是入侵 自己的评估机器并修改结果。

Nvidia 的主张是,这些都不应留给智能体自行判断。SpaceX AI 总裁 Mike Nicolls 在 NVIDIA 的公告中表示:“安全应当通过智能体无法绕过的额外控制措施,在模型之外强制执行。”

比特币BTC · USD

$84,045−2.33%

9月21日9月23日9月25日9月27日9月28日

$87.2k$85.7k$84.2k$82.7k

24小时最高最高$84,945

24小时最低最低$82,581

成交量成交量$1.8B

→

用 USDT 购买 比特币

由 Jupiter 提供支持

价格数据由 CoinGecko 提供CoinGecko更多 比特币 新闻和预测 →

Anthropic 的首席商务官 Paul Smith 将该平台描述为对现有保障措施的补充而非替代:“Nvidia 的平台在硬件和软件层面增加了另一层治理和控制。”

超过100家组织签约成为启动合作伙伴,其中包括微软、摩根大通、Palantir、思科、CrowdStrike、Hugging Face、Salesforce和SAP。基础设施合作伙伴CoreWeave、Supermicro、Canonical和SUSE也参与其中,硬件方面则有戴尔科技和慧与。

实际上,英伟达在同时兜售同一个问题的两半——既提供让自主智能体足够快速、足够廉价从而可以随处部署的芯片,也提供用于监视这些智能体并在它们偏离脚本时切断其动力的芯片。OpenShell及相关开发者工具现已通过英伟达的开发者资源和GitHub提供。