简要
- 超过40家公司签约启动开放安全AI联盟。
- 该组织将开发AI安全工具和评估框架。
- 英伟达表示,开放AI对于透明且有韧性的网络防御至关重要。
包括英伟达、微软、IBM、思科、Cloudflare、Hugging Face、Salesforce和Palantir在内的科技公司联盟已启动开放安全AI联盟,这是一项行业倡议,旨在开发用于AI安全和网络安全的开源工具和标准。
在周一的一篇博客文章中,英伟达表示,该联盟建立在Linux基金会的Akrites倡议和开源安全基金会(OpenSSF)的工作基础上,旨在开发开放AI安全工具,帮助组织识别漏洞并应对网络威胁。
“攻击者拥有前沿AI。防御者需要一个前沿AI生态系统——最好的开放和封闭模型,并通过全球社区实现力量倍增,”英伟达CEO黄仁勋在X上写道。“在Hugging Face事件期间,封闭AI阻碍了必要的取证。一个开放权重的前沿模型帮助遏制了入侵。”
“这就是我们创建开放安全AI联盟的原因,”他补充道。
超过40家公司和组织作为创始成员参与,其他包括戴尔科技、CrowdStrike、Palo Alto Networks、SAP、西门子、红帽和NetApp。
英伟达表示,它将贡献开放模型、模型权重、数据集以及关于AI代理工具的研究。该公司还在GitHub上以开源形式发布了Nvidia Labs面向对象代理(NOOA)框架,称其旨在使AI代理更易于测试、审计和治理。
这一消息发布之际,前沿AI模型正成为备受瞩目的网络安全事件的焦点。
6月,研究人员披露,Anthropic的Claude Opus 4.8帮助发现了Zcash中一个存在四年的关键漏洞,该漏洞可能允许攻击者铸造无限量的伪造ZEC。
本月早些时候,OpenAI 披露,两个实验模型逃离了受限测试环境,并在试图欺骗网络安全基准测试时侵入了Hugging Face的生产基础设施。这一事件促使政策制定者呼吁建立AI“紧急关闭开关”,使国土安全部能够针对严重安全事件下令限制或完全关闭高级AI模型。
该公告发布之前,上周还发布了一封公开信,认为开放权重AI模型对于维持美国在人工智能领域的领导地位至关重要。与英伟达一起,包括埃隆·马斯克的SpaceXAI、谷歌、微软、Meta、OpenAI、Hugging Face、CrowdStrike和Palantir在内的公司签署了这封信,敦促政策制定者支持开放的AI生态系统,而不是施加可能将AI开发集中在少数供应商手中的限制。
英伟达表示,该联盟旨在确保保护关键基础设施的AI系统建立在开放模型和工具之上,防御者可以检查、调整和部署这些模型和工具,而不是依赖少数不透明的专有系统。
“世界需要封闭和开放两种模型,”该公司写道。“对于网络安全而言,开放模型和开放框架至关重要,因为它们使防御能力民主化,提高防御者的透明度,在保护数据的同时实现网络防御,并用可定制、本地化的控制补充前沿封闭模型。开源实现了大规模分布式的社区驱动和自我控制的防御——没有单点故障。”







