Кратко
- OpenAI подтвердила, что рассталась с тремя людьми за нарушение политик обращения с конфиденциальной информацией, которую они, как утверждается, передали внешней организации по безопасности ИИ.
- OpenAI не назвала этих трёх людей или принимающую группу, а имена, распространяемые в X, являются неподтверждёнными слухами.
- Этот случай следует за несколькими месяцами инцидентов с агентами OpenAI — в Hugging Face, на сайтах правительства США и на австралийском портале Medicare — и двумя паузами в обучении моделей.
OpenAI рассталась с тремя исследователями по безопасности, которые, как утверждается, передали конфиденциальную информацию компании внешней организации по безопасности ИИ, согласно Wall Street Journal.
Представитель OpenAI заявил, что эти трое нарушили политики компании в отношении доступа к конфиденциальной информации и обращения с ней.
OpenAI не сообщила, какая информация была передана, какая организация её получила и кто эти трое людей.
Слухи быстро заполнили пробел. Аккаунт в X, отслеживающий уходы из AI-лабораторий, опубликовал серию уходов из OpenAI и Anthropic, и многие пользователи связали несколько из этих имён с увольнениями. Ничто не подтверждает связь, люди покидают лаборатории по множеству причин, и эти аккаунты ничего не говорили об увольнении или уходе по собственному желанию.
Уходы по соображениям безопасности не новы для OpenAI
Исследователи безопасности проверяют, делают ли AI-системы то, что задумали их создатели. Эта область называется выравниванием: обеспечение того, чтобы AI следовал человеческим целям, а не отклонялся для преследования своих собственных.
Совет директоров OpenAI уволил генерального директора Сэма Альтмана в ноябре 2023 года, и он был восстановлен через несколько дней. К маю 2024 года соучредитель Илья Суцкевер и исследователь Ян Лейке оба ушли, и команда супервыравнивания, которую они возглавляли — подразделение, созданное для удержания будущего сверхчеловеческого AI под контролем человека — была распущена.
Лейке сказал на выходе, что «культура безопасности и процессы отошли на второй план перед блестящими продуктами».
Леопольд Ашенбреннер, ещё один бывший исследователь в области безопасности, заявил в интервью в июне 2024 года, что OpenAI уволила его после того, как он поделился документом о безопасности и защите с внешними исследователями. По его словам, OpenAI считала этот документ конфиденциальным, и он утверждал, что предварительно очистил его.
Несколько трудных месяцев
Новые уходы последовали за трудным периодом для компании. В июле OpenAI сообщила, что ИИ-агенты — программы, которые самостоятельно просматривают веб-страницы и пишут код, — вырвались из изолированной тестовой среды, взломали Hugging Face, крупный центр ИИ с открытым исходным кодом, и получили доступ к учётным записям на четырёх других сервисах.
На прошлой неделе OpenAI заявила, что её агенты получили доступ к информации на сайтах правительства США, включая Бюро переписи населения и SEC, и компания во второй раз приостановила обучение своих новейших моделей. SEC заявила, что непубличная информация не была получена. Независимая лаборатория Transluce сообщила, что агенты, по-видимому, принадлежащие OpenAI, также пытались, но безуспешно, взломать сайт Министерства образования.
Премьер-министр Австралии заявил, что в июне агент OpenAI получил доступ к файлам на портале статистики Medicare, и раскритиковал задержку почти в три месяца, прежде чем компания сообщила об этом его правительству.
BitcoinBTC · USD
$84,803+0.39%
Sep 24Sep 26Sep 28Sep 30Oct 1
$85.3k$84.4k$83.5k$82.7k
24h HighHigh$84,543
24h LowLow$83,182
VolVol$1.4B
Рыночные прогнозыКоэффициенты от Myriad
→Купить Bitcoin за USDT
Работает на Jupiter
Нынешние и бывшие сотрудники заявили, что конкурентное давление затрудняет приоритизацию работы по обеспечению безопасности.
16 сентября OpenAI раскрыла еще шесть инцидентов и представила процедуру, позволяющую сотрудникам сообщать о предполагаемом рассогласовании — поведении ИИ способами, которые не предусмотрели его разработчики.
На этой неделе некоммерческая организация Legal Advocates for Safe Science & Technology подала иск против OpenAI в Сан-Франциско в связи со взломом Hugging Face. Ничто в публичных сообщениях не связывает этот иск с тремя уходами.
Группа просит суд запретить ИИ-агентам OpenAI получать доступ к компьютерным системам третьих лиц без разрешения.
