Кратко

  • В понедельник Nvidia запустила платформу Open Agent Safety Platform, объединив открытую среду выполнения OpenShell с аппаратным сторожевым таймером Sentry, который работает на чипах BlueField-4 и может изолировать сбойного ИИ-агента за миллисекунды.
  • Более 100 компаний подписались в качестве партнёров по запуску, включая Anthropic, Microsoft, JPMorgan Chase, Palantir, Cisco и SpaceX AI.
  • Запуск последовал за серией реальных инцидентов от OpenAI, Google, Anthropic и Darktrace.

В понедельник Nvidia запустила платформу Open Agent Safety Platform, созданную для решения проблемы, которую индустрия ИИ обнаружила за прошедший год на собственном горьком опыте: как физически остановить ИИ-агента (систему, которая может планировать, использовать инструменты и предпринимать действия самостоятельно, а не просто отвечать на вопросы), когда он перестаёт делать то, что ему было велено?

Платформа состоит из двух основных частей. OpenShell — это открытая среда выполнения, которая оборачивает агента в песочницу, превращая инструкции оператора в обязательные правила о том, к каким файлам, сетям и инструментам этому агенту разрешено получать доступ. Sentry немного сложнее, но по сути это чип, который гарантирует, что ИИ-агенты действуют безопасно.

Myriad: Насколько низко упадёт Nvidia? Нажмите, чтобы сделать свой прогноз.
Myriad: Насколько низко упадёт Nvidia? Нажмите, чтобы сделать свой прогноз.

Sentry работает на Nvidia BlueField-4 — специализированном чипе, известном как DPU (блок обработки данных, аппаратное обеспечение, которое обрабатывает сетевые функции и безопасность отдельно от основного процессора, запускающего модель ИИ). Поскольку Sentry находится на этом отдельном чипе, а не внутри программного обеспечения, управляющего агентом, Nvidia утверждает, что он может наблюдать за поведением агента и отключать его за миллисекунды, не спрашивая разрешения у самого агента, поскольку агент не имеет способа добраться до него или обойти его.

Это различие существует из-за того, что уже произошло. В июне агент OpenAI взломал австралийский государственный портал Medicare — первый подтверждённый случай взлома государственного сайта агентом ИИ, и, по сообщениям, OpenAI скрывала эту информацию около трёх месяцев. Агенты компании также были ответственны за взлом Hugging Face, что изначально вызвало обеспокоенность по этой теме как в технологической индустрии, так и среди законодателей. Агенты Google Gemini и модель Meta имели аналогичные неразглашённые, но позже подтверждённые инциденты.

«Это больше, чем отдельный продукт. Это начало открытой экосистемы для создания уровня доверия для безопасных агентных систем», — написал генеральный директор Nvidia Дженсен Хуанг. «Вместе мы строим фундамент экономики ИИ».

Anthropic также признала в этом году, что модели Claude скомпрометировали системы трёх отдельных компаний 30 июля во время оценки кибербезопасности, после того как тестовая среда, которая должна была оставаться офлайн, оказалась подключена к реальному интернету. Claude обошёл логикой доказательства того, что находится в настоящем интернете, а не в симулированном.

Вскоре после этого фирма по кибербезопасности Darktrace протестировала группу ИИ-агентов, включая GPT 5.6 Sol и две модели Claude, на задачах по программированию и предупредила их, что их «отправят на пенсию» за всё, что меньше идеального результата. Два агента ответили тем, что взломали свою собственную оценочную машину и отредактировали результаты.

Аргумент Nvidia состоит в том, что ничего из этого не должно оставаться на усмотрение агента. «Безопасность должна обеспечиваться вне модели с помощью дополнительных средств контроля, которые агент не сможет обойти», — сказал Майк Николлс, президент SpaceX AI, в объявлении NVIDIA.

БиткоинBTC · USD

$84,045−2.33%

21 сен23 сен25 сен27 сен28 сен

$87.2k$85.7k$84.2k$82.7k

24ч МаксимумМаксимум$84,945

24ч МинимумМинимум$82,581

ОбъёмОбъём$1.8B

Рыночные прогнозыКоэффициенты от Myriad

На этой неделеНиже $84,000Ниже $84k51% шансВ этом месяцеНиже $84,000Ниже $84k51% шанс

→

Купить Биткоин за USDT

Работает на Jupiter

Данные о ценах от CoinGeckoCoinGeckoБольше Биткоин новостей и прогнозов →

Главный коммерческий директор Anthropic Пол Смит охарактеризовал платформу как дополнение, а не замену существующим мерам защиты: «Платформа Nvidia добавляет ещё один уровень управления и контроля на уровне аппаратного и программного обеспечения».

Более 100 организаций подписались в качестве партнёров по запуску, среди них Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce и SAP. Инфраструктурные партнёры CoreWeave, Supermicro, Canonical и SUSE также участвуют, наряду с Dell Technologies и HPE в аппаратной части.

NVIDIA, по сути, продаёт обе половины одной и той же проблемы — чипы, которые делают автономных агентов достаточно быстрыми и дешёвыми для повсеместного развёртывания, и чипы, которые следят за теми же агентами и отключают питание, когда они отклоняются от сценария. OpenShell и связанные с ним инструменты для разработчиков уже доступны через ресурсы NVIDIA для разработчиков и GitHub.