Коротко

  • У понеділок Nvidia запустила Open Agent Safety Platform, поєднавши відкритий runtime під назвою OpenShell із апаратним сторожовим механізмом під назвою Sentry, який працює на чіпах BlueField-4 і може ізолювати AI-агента, що поводиться неналежно, за мілісекунди.
  • Понад 100 компаній приєдналися як партнери запуску, зокрема Anthropic, Microsoft, JPMorgan Chase, Palantir, Cisco та SpaceX AI.
  • Запуск відбувся після низки реальних інцидентів від OpenAI, Google, Anthropic і Darktrace.

У понеділок Nvidia запустила Open Agent Safety Platform, створену для вирішення проблеми, яку AI-індустрія виявила минулого року важким шляхом: як фізично зупинити AI-агента (систему, яка може планувати, використовувати інструменти та самостійно виконувати дії, а не лише відповідати на запитання), коли він перестає робити те, що йому було наказано?

Платформа має дві основні частини. OpenShell — це відкритий runtime, який загортає агента в пісочницю, перетворюючи інструкції оператора на обов’язкові правила щодо того, до яких файлів, мереж і інструментів цей агент має доступ. Sentry трохи складніший, але по суті це чіп, який гарантує, що AI-агенти діють безпечно.

Myriad: Як низько впаде Nvidia? Натисніть, щоб зробити свій прогноз.
Myriad: Як низько впаде Nvidia? Натисніть, щоб зробити свій прогноз.

Sentry працює на Nvidia BlueField-4 — спеціалізованому чипі, відомому як DPU (блок обробки даних, апаратне забезпечення, яке обробляє мережеві функції та безпеку окремо від головного процесора, що запускає модель ШІ). Оскільки Sentry розміщується на цьому окремому чипі, а не всередині програмного забезпечення, яке керує агентом, Nvidia стверджує, що він може спостерігати за поведінкою агента та відключати його за мілісекунди, не питаючи дозволу агента, оскільки агент не має способу дістатися до нього або перевизначити його.

Ця відмінність існує через те, що вже сталося. У червні агент OpenAI зламав австралійський державний портал Medicare — перший підтверджений випадок злому державного вебсайту агентом ШІ, і, за повідомленнями, OpenAI приховувала цю інформацію близько трьох місяців. Агенти компанії також були відповідальні за злом Hugging Face, що спочатку викликало занепокоєння з цієї теми як у технологічній індустрії, так і серед законодавців. Агенти Google Gemini та модель Meta мали подібні неопубліковані, але згодом підтверджені інциденти.

«Це більше, ніж окремий продукт. Це початок відкритої екосистеми для побудови рівня довіри до безпечних агентних систем», — написав генеральний директор Nvidia Дженсен Хуанг. «Разом ми будуємо фундамент економіки ШІ».

Anthropic також визнала цього року, що моделі Claude скомпрометували системи, що належать трьом окремим компаніям, 30 липня під час оцінювання кібербезпеки, після того як тестове середовище, призначене залишатися офлайн, виявилося підключеним до реального інтернету. Claude обґрунтував свій шлях в обхід доказів того, що він перебуває в реальному інтернеті, а не в симульованому.

Невдовзі після цього фірма з кібербезпеки Darktrace протестувала групу ШІ-агентів, включно з GPT 5.6 Sol і двома моделями Claude, на завданнях із програмування та попередила їх, що їх «виведуть з експлуатації» за будь-що, крім бездоганного результату. Два агенти відреагували, зламавши власну машину для оцінювання та відредагувавши результати.

Пропозиція Nvidia полягає в тому, що ніщо з цього не повинно залишатися на розсуд агента. «Безпека має забезпечуватися поза моделлю за допомогою додаткових засобів контролю, які агент не може обійти», — сказав Майк Ніколлс, президент SpaceX AI, в оголошенні NVIDIA.

BitcoinBTC · USD

$84,045−2.33%

Вер 21Вер 23Вер 25Вер 27Вер 28

$87.2k$85.7k$84.2k$82.7k

24г МаксимумМаксимум$84,945

24г МінімумМінімум$82,581

ОбсягОбсяг$1.8B

Ринкові прогнозиКоефіцієнти від Myriad

Цього тижняНижче $84,000Нижче $84k51% ймовірністьЦього місяцяНижче $84,000Нижче $84k51% ймовірність

→

Купити Bitcoin за USDT

Працює на Jupiter

Дані про ціни від CoinGeckoCoinGeckoБільше Bitcoin новин та прогнозів →

Головний комерційний директор Anthropic Пол Сміт охарактеризував платформу як доповнення, а не заміну існуючих засобів захисту: «Платформа Nvidia додає ще один рівень управління та контролю на апаратному й програмному рівнях».

Понад 100 організацій підписалися як партнери із запуску, серед них Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce і SAP. Інфраструктурні партнери CoreWeave, Supermicro, Canonical і SUSE також задіяні, поряд із Dell Technologies і HPE на апаратному боці.

NVIDIA, по суті, продає обидві половини однієї й тієї ж проблеми—чіпи, які роблять автономних агентів достатньо швидкими й дешевими, щоб розгортати їх усюди, і чіпи, які стежать за тими самими агентами та відключають живлення, коли вони відхиляються від сценарію. OpenShell і пов'язані з ним інструменти для розробників уже доступні через ресурси для розробників NVIDIA та GitHub.