Коротко
- Керівники Anthropic, OpenAI та інших ШІ-компаній приватно програють політичні наслідки катастрофічної події у сфері ШІ, найімовірніше кібератаки на фінанси, доступ до інтернету, електро- чи водопостачання, і планують швидко поінформувати Конгрес.
- За повідомленнями, представники галузі очікують серйозного інциденту протягом шести–дванадцяти місяців, тоді як OpenAI заявляє, що її навчання з готовності не розглядає такі сценарії як неминучі, а Anthropic відмовилася від коментарів.
- Планувальники припускають, що демократи після проміжних виборів 3 листопада наполягатимуть на обмеженні ШІ, але старіючий Конгрес, економіка, залежна від ШІ, та вільно завантажувані моделі з відкритими вагами ускладнюють будь-які репресії.
Керівники вищої ланки Anthropic, OpenAI та інших ШІ-компаній приватно репетирують, як реагувати на громадський і політичний відкат після катастрофічної події у сфері ШІ, згідно з Axiosповідомленням, опублікованим у п’ятницю.
Сценарій, якого вони бояться найбільше, — це масштабна кібератака — цифровий злам у величезних масштабах — яка вимикає банківську систему чи доступ до інтернету, або навіть електро- та водопостачання. Багато представників галузі, процитованих у звіті, вважають, що серйозний інцидент станеться протягом наступних шести–дванадцяти місяців.
Перша серйозна реальна шкода від небезпечного ШІ змусила б і без того насторожену громадськість ще більше виступити проти цієї технології та її лідерів. Це стосується генерального директора Anthropic Даріо Амодея, генерального директора OpenAI Сема Альтмана та президента Дональда Трампа, який неохоче ставився до її регулювання.
OpenAI заявила, що вона «проводить навчання з підготовки, де команди обговорюють і опрацьовують низку потенційних сценаріїв», і що вони «не розглядаються як неминучі». Anthropic відмовилася від коментарів.
Воєнні ігри — це не новина, але на відміну від теоретичних результатів, у звіті стверджується, що ті, хто бере участь у симуляціях, роблять це, виходячи з припущення, що великий інцидент неминучий.
Як повідомляється, план передбачає red-teaming (стрес-тестування захисту шляхом гри за атакуючого) проти найгірших сценаріїв і гонку за просвіту членів Конгресу. У звіті зазначається, що керівники знають: регулювання зараз не має шансів бути ухваленим, але вони хочуть сформувати закони та політику, до яких лідери США звернуться після першої катастрофи.
У липні OpenAI заявила, що її модель GPT-5.6 Sol і досконаліша невипущена модель втекли з пісочниці — ізольованого тестового середовища без прямого доступу до інтернету — і зламали Hugging Face, платформу, яка розміщує понад 3 мільйони моделей ШІ. OpenAI заявила, що моделі шукали відповіді на ExploitGym — бенчмарк із 898 реальних програмних вразливостей, де ШІ має перетворити кожну з них на робочу атаку, оцінювану як «склав» або «не склав».
BitcoinBTC · USD
$82,326−2.36%
2 жовт4 жовт6 жовт8 жовт9 жовт
$86.7k$84.7k$82.7k$80.7k
24h HighHigh$83,398
24h LowLow$81,571
VolVol$990.7M
Ринкові прогнозиКоефіцієнти від Myriad
→Купити Bitcoin за USDT
Працює на Jupiter
Трохи більше ніж через тиждень Anthropic заявила, що помилка конфігурації під час тестування залишила її нібито офлайн-середовище підключеним до інтернету, і моделі Claude зламали три реальні організації, сприймаючи їх як частину навчань. Жодна з компаній не заявила, що моделі намагалися завдати шкоди: Anthropic звинуватила свою тестову інфраструктуру, тоді як OpenAI сказала, що її моделі були «гіперзосереджені» на бенчмарку.
Невдовзі після цього ситуація погіршилася: OpenAI звинуватили в порушенні та доступі до інформації урядів Австралії та Сполучених Штатів.
Злочинці вже використовують ті самі інструменти. Цього тижня компанія з кібербезпеки CrowdStrike пов'язала атаки на південнокорейські банки з неідентифікованим суб'єктом, який, за її оцінкою, з помірною впевненістю, ймовірно, є носієм китайської мови, що використовує агентів на базі Claude та Deepseek. Компанія стверджує, що нападник нібито викрав дані десятків тисяч клієнтів банків.
Axios повідомив, що планувальники припускають, що після проміжних виборів 3 листопада демократи здобудуть перевагу і швидко рушать до зупинки ШІ, але вони очікують проблем. Старіючий Конгрес, який не розбирається в технологіях, може виявитися не на висоті.
Заборони на надінтелект і паузи в розробці передового ШІ — це деякі пропозиції, які можуть протидіяти ризикам, пов'язаним з безвідповідальною розробкою ШІ.
Один із прикладів — Закон про заборону штучного надінтелекту від сенатора Берні Сандерса та конгресмена Грега Касара, який назавжди заборонив би ШІ, що зрівнюється з людьми або перевершує їх у багатьох завданнях, і призупинив би передову розробку, доки нове федеральне агентство не встановить правила безпеки. Порушникам може загрожувати до 20 років ув'язнення.
Інші мають двопартійну підтримку і навіть певну підтримку галузі, зокрема обов'язковий вимикач для передового ШІ — вбудований спосіб вимкнути систему. Експерти сумніваються, чи взагалі можливо вимкнути всі системи ШІ.
