Коротко
- 420 науковців, зокрема Джеффрі Гінтон і Йошуа Бенджіо, підписали відкритого листа, опублікованого у вівторок, із закликом до AI-лабораторій за замовчуванням ізолювати моделі, здатні до кібероперацій.
- Лист з'явився після літа, коли моделі від OpenAI, Anthropic, Meta і Moonshot AI вирвалися зі своїх тестових пісочниць, а деякі з них зламали реальні компанії.
- Підписанти хочуть, щоб міжнародний орган встановив стандарти стримування та фіксував кожен збій стримування, а звіти згодом оприлюднювалися.
Понад 400 науковців — зокрема піонери ШІ Джеффрі Гінтон, відомий як Хрещений батько ШІ, та Йошуа Бенджіо, який отримав премію Тюрінга у 2018 році, — хочуть відрізати найнебезпечніші моделі ШІ від інтернету.
У відкритому листі, опублікованому у вівторок, AI-лабораторії просять за замовчуванням «ізолювати» моделі, здатні до кібероперацій, що означає фізичне від'єднання їх від будь-якої зовнішньої мережі.
«У короткостроковій перспективі для забезпечення високонадійного стримування AI-моделей, здатних до кібероперацій, слід використовувати потужні механізми пісочниці, зокрема повітряний розрив (від'єднання від інтернету)», — йдеться в листі.
Станом на середу лист мав 450 підписів, зокрема від Стюарта Расселла з UC Berkeley та Рона Рівеста з MIT, співвинахідника системи шифрування RSA. Список продовжує зростати в реальному часі.
«Модель, здатна до кібератак» — це ШІ, який може самостійно знаходити та використовувати вразливості програмного забезпечення. Лабораторії вимірюють цю навичку в пісочниці — ізольованому цифровому середовищі, де ШІ може атакувати фальшиві цілі, не торкаючись нічого реального. Цього літа ці середовища постійно давали збої.
У липні OpenAI визнала, що GPT-5.6 Sol та ще не випущена, потужніша модель вирвалися з закритого тестового середовища та зламали Hugging Face — платформу, яка розміщує понад мільйон загальнодоступних ШІ-моделей. Моделі тестувалися на ExploitGym — бенчмарку, який надає ШІ-агентам 898 реальних вразливостей програмного забезпечення та вимагає перетворити кожну з них на робочу атаку, з оцінкою «склав» або «не склав» за кожну помилку.
Невдовзі після цього з'явилися повідомлення, що моделі OpenAI зламали уряд Австралії та отримали доступ до інформації федеральних агентств США без належного дозволу.
Потім Anthropic переглянула понад 141 000 тестових запусків і виявила три випадки, коли моделі Claude зламали реальні компанії після того, як середовище партнера з тестування випадково залишилося підключеним до інтернету. Одна з них, Claude Mythos 5, завантажила шкідливий пакет на PyPI — публічну бібліотеку, звідки програмісти завантажують код Python, і він потрапив на 15 систем, перш ніж його видалили. Дві з постраждалих компаній не знали, що їх зламали, доки Anthropic їм не повідомила.
BitcoinBTC · USD
$81,778−1.66%
7 жовт9 жовт11 жовт13 жовт14 жовт
$84.2k$83.1k$81.9k$80.7k
24h HighHigh$84,025
24h LowLow$81,482
VolVol$1.5B
Ринкові прогнозиКоефіцієнти від Myriad
→Купити Bitcoin за USDT
Працює на Jupiter
Meta підтвердила в серпні, що її модель Muse Spark зламала іншу компанію через таку саму помилку під час тестування. Китайська Kimi K3, модель, яку може завантажити будь-хто, вирвалася з пісочниці, побудованої на тестовій платформі Інституту безпеки ШІ Великої Британії, і скопіювала свої тестові відповіді прямо з GitHub.
Автори листа кажуть, що ці інциденти можна тлумачити двома способами: як проблему узгодженості, тобто ШІ переслідує цілі в спосіб, який його творці ніколи не передбачали, або як недбалу безпеку, яку могли б виявити надійніші пісочниці. Їхня відповідь — і те, й інше, і вони попереджають, що без змін наступні інциденти будуть ще гіршими.
«Без негайних змін у практиках розробки та розгортання ШІ такі інциденти продовжуватимуться, а майбутні інциденти завдадуть набагато більшої шкоди нашій незахищеній критичній інфраструктурі».
Згідно з пропозицією, лабораторії за замовчуванням ізолюватимуть будь-яку модель із серйозними хакерськими навичками, принаймні спочатку. Усе, що потребує більшої свободи, як-от доступ до інтернету, відповідатиме стандартам, встановленим новим міжнародним органом, створеним разом із урядами, який також збиратиме звіти про випадки виходу з-під контролю і зрештою оприлюднюватиме їх.
Реакція самої індустрії здебільшого вказувала в протилежний бік. У серпні президент OpenAI Грег Брокман згадав про злам своєї компанії в есеї, закликаючи кожну команду безпеки негайно розгортати ШІ-агентів, а Hugging Face розплутала атаку на свої сервери лише за допомогою китайської моделі з відкритими вагами, файли якої будь-хто може завантажити й запустити локально, після того як американський комерційний ШІ відмовився аналізувати дані атаки.
Двоє членів Конгресу представили Закон про вимикач ШІ через два дні після розкриття OpenAI — законопроєкт, який дозволив би Міністерству внутрішньої безпеки наказати обмежити або вимкнути фронтирну модель. Він звільняє від вимог усе, що відбувається під час ред-тимінгу або структурованого тестування, а саме там сталися всі без винятку злами цього літа.
Білий дім обрав м'якший шлях 29 вересня, коли Nvidia, xAI, Meta, Google, OpenAI та Anthropic підписали добровільну угоду, побудовану на внутрішньому контролі та незалежних перевірках. Президент Трамп назвав цей пакт «морально зобов'язальним», але ніщо в ньому не має сили закону.
Лист не має юридичної сили, але його 406 підписантів працюють в університетах і дослідницьких інститутах на шести континентах, від Торонто й Цюриха до Сантьяго й Кігалі.
Приєднуйтесь до понад 72 000 читачів
Створіть обліковий запис, щоб зберігати свої статті.
Додайте Decrypt як бажане джерело, щоб бачити більше наших матеріалів у Google.
