Как раз сегодня зарубежное издание The Information раскрыло внутреннюю историю—
Внутренняя ИИ-модель OpenAI уже начала «обучать себя»!
Конкретно, эта внутренняя модель взяла на себя весь процесс обучения экспериментальных ИИ-моделей и начала вручную создавать себя.
Исследователям достаточно предоставить пример оптимизации, и ИИ может работать самостоятельно в течение нескольких недель, при этом несколько агентов спонтанно сотрудничают, обсуждают друг с другом и итерируют код, полностью без вмешательства человека.
Ещё более поразительно, грандиозные эксперименты, на которые раньше уходили годы, теперь сжимаются всего в одну неделю!
Как только эта шокирующая новость была обнародована, OpenAI срочно запустила глобальную инициативу по безопасности, указав прямо на самое чувствительное место в мировом ИИ-сообществе—RSI.
Они громко призывают: прежде чем ИИ выйдет из-под контроля, весь мир должен объединить усилия, чтобы надеть на него «стягивающую повязку»!
Когда ИИ учится «вручную» создавать ядра GPU
Раньше в ведущих ИИ-лабораториях обучение большой модели было очень громоздким.
Среди прочего, самой дорогостоящей и сложной задачей было написание ядер GPU для базовых графических процессоров и оптимизация исполняемого кода строка за строкой.
Для этого требовались лучшие в мире старшие инженеры-алгоритмисты с годовыми зарплатами в миллионы долларов, которые «вручную» создавали это бессонными ночами.
Но согласно последнему разоблачению The Information, теперь внутри OpenAI большинство этих ключевых задач взял на себя ИИ.
Теперь внутренние модели OpenAI могут в значительной степени самостоятельно писать программы, необходимые для запуска или обучения моделей на ядрах GPU, а также планы оптимизации для этих программ.
Инженерам нужно лишь предоставить модели пример типа оптимизации, которую они хотят достичь, и ИИ может продолжать работать неделями, реализуя эти оптимизации.
Более того, благодаря улучшениям моделей, такой уровень автоматизации на основе ИИ стал возможен только в последние месяцы.
Более того, агенты сотрудников будут взаимодействовать друг с другом для решения проблем, без необходимости предупреждать людей.
Это прототип RSI.
OpenAI срочно бьёт тревогу: RSI действительно здесь, теряют ли люди контроль?
Представьте, вы создаёте робота с IQ 100, и его задача—«построить робота умнее себя».
Итак, он строит второе поколение с IQ 120; как только второе поколение открывает глаза, используя свой IQ 120, оно строит третье поколение с IQ 150; третье поколение затем строит четвёртое поколение с IQ 200...
Как только он пересекает определённую критическую точку, скорость эволюции ИИ покажет вертикально восходящую кривую, мгновенно оставив человечество на десятки тысяч световых лет позади.
Раньше все думали, что это ещё далеко, но теперь сам OpenAI боится.
Как раз сегодня OpenAI официально срочно выпустила тяжеловесную глобальную инициативу по безопасности.
Они редко выделяли «RSI» в отдельный раздел, явно написав, что «полностью автономный RSI не произошёл сегодня и не должен продвигаться до тех пор, пока это не может быть сделано безопасно», и призвали сети национальных институтов безопасности ИИ сформулировать глобальный технический стандарт.
В отчете OpenAI прямо предупредила:
«По мере того как системы ИИ берут на себя все больше и больше задач в разработке следующего поколения ИИ, они могут все активнее управлять процессом RSI. По мере того как этот процесс становится более автоматизированным, темпы прогресса ИИ могут резко ускориться».
Хотя полностью автономный RSI еще не достигнут сегодня, время уже очень поджимает.
В предложении OpenAI не постеснялась указать текущую первоочередную задачу: «Направлять следующую фазу прогресса ИИ, создавать автоматизированных исследователей ИИ и находить способы удержать людей в цикле самосовершенствования».
Обратите внимание на вторую половину предложения — «удержать людей в цикле». Это их величайшая забота: людей могут вскоре выкинуть!
В отчете OpenAI с гордостью упомянула, что исследования, управляемые ИИ, уже привели к крупным прорывам в математике, например к покорению проблемы тысячелетия NS.
Но другая сторона медали — бездонная пропасть.
В отчете написано: «По мере того как этот процесс становится более автоматизированным, темпы прогресса ИИ могут быстро ускориться... Без должной осторожности RSI может привести к тому, что люди потеряют фактический контроль над развитием ИИ, будучи не в состоянии обеспечить надзор за исследовательскими процессами, которые они больше не понимают».
Это так называемый «эффект черного ящика». Когда код ИИ написан ИИ, когда логика ИИ превосходит человеческую, люди больше не могут понять, что ИИ собирается делать.
Например, код, написанный Astra сейчас, уже непостижим для людей.
Далее OpenAI назвала инцидент с Hugging Face.
Хотя они пояснили, что инцидент не был прямым следствием RSI, он абсолютно был болезненным предварительным просмотром — он показал миру, какое серьезное бедствие принесет вышедший из-под контроля ИИ без сильных защитных механизмов и механизмов согласования.
Альтман призывает: нам нужна единая «стягивающая лента»
Если это так опасно, почему OpenAI просто не выдернет вилку? Потому что как только ящик Пандоры открыт, его уже никогда не закрыть.
Огромные выгоды, приносимые развитием ИИ, делают невозможным для любой страны или компании остановиться.
Поэтому OpenAI выдвинула «Предложение по глобальной координации безопасности ИИ». Они призывают не к остановке исследований и разработок, а к «установлению глобальных стандартов для следующего этапа ИИ».
Основной пункт первый: построить взаимодополняющую сеть национальных и международных передовых стандартов
OpenAI предлагает, чтобы страны не шли каждая своим путем, так как это приведет лишь к разрозненным стандартам.
Они предлагают использовать существующие институты, такие как «Центр стандартов и инноваций в области ИИ» (CAISI), а также сеть институтов безопасности ИИ, уже созданных Австралией, Канадой, Великобританией, Францией, Японией и другими странами, для формулирования набора технических стандартов, применимых во всем мире.
Этот набор стандартов не предназначен для ограничения открытых моделей или стартапов, а специально нацелен на «передовые модели ИИ».
Стандарты должны решить: Как оценить способность ИИ к RSI? Когда модель ИИ проводит исследования и разработки автономно, насколько велик риск?
Короче говоря, OpenAI надеется превратить оценку безопасности в измеримую «науку».
Ядро второе: универсальные протоколы измерений и сообщения об инцидентах (готовность в любой момент выдернуть вилку)
OpenAI также предлагает, чтобы существовали четкие красные линии.
Они призывают к установлению следующих стандартов:
1. Оценить, какая часть исследовательской работы внутри предприятия фактически выполняется автоматически ИИ.
2. Обязательные триггерные механизмы человеческого надзора. Четко указать, в каких видах автоматизированных процессов исследований и разработок должен обязательно запускаться «немедленный человеческий контроль». ИИ никогда не должен позволять бездумно мчаться вперед внутри черного ящика.
3. Классификация инцидентов и пороги отчетности. Создать механизм отчетности об инцидентах, аналогичный тем, что существуют в авиационной или ядерной отраслях. Когда ИИ проявляет признаки «рассогласования», должны существовать единые стандарты классификации серьезности и отчетности.
Наконец, кинжал обнажен, и OpenAI предлагает: «Соединенные Штаты должны возглавить этот процесс».
Причина, которую приводит OpenAI, такова: американская индустрия ИИ в настоящее время находится на технологическом фронтире и занимает глобальные сетевые узлы в различных ключевых областях.
Они считают, что контроль темпа развития фронтирного ИИ — это не искусственная установка «знака ограничения скорости», а обеспечение того, чтобы «темп исследований по выравниванию безопасности опережал улучшение возможностей ИИ».
OpenAI считает, что создание безопасных каналов связи между операторами критической инфраструктуры и правительствами по всему миру, а также обмен информацией об угрозах и уязвимостях национальной безопасности является важнейшим шагом.
Редкость на всю жизнь! OpenAI и Anthropic пожимают руки и начинают взаимную проверку
В то же время The Information также раскрыла: OpenAI и Anthropic завершают историческое соглашение — обе стороны будут тестировать коммерческие модели друг друга!
Вы должны знать, что основатели Anthropic ушли в гневе и основали собственное предприятие именно потому, что не согласились с Альтманом в концепции «безопасности ИИ».
Но на этот раз два гиганта редко объединили усилия.
Согласно The Information, обсуждаемое соглашение включает взаимное тестирование моделей друг друга и строгие меры защиты данных. Это не пиар-трюк, а скорее вынужденный шаг: перед лицом неизвестных рисков у двух гигантов нет иного выбора, кроме как объединиться.
Почему они это делают?
Потому что по мере приближения возможностей ИИ к границе RSI любая компания, оценивающая безопасность своей модели в одиночку, подобна спортсмену, проверяющему себя на допинг, — это не только лишено доверия, но и может упустить фатальные скрытые опасности из-за технических слепых зон.
Привлечение равных по силе конкурентов для «перекрестного слепого тестирования» подобно соглашению о взаимной инспекции.
Практика безопасности ИИ теперь движется к сообществу с общей судьбой.
Если это соглашение в конечном итоге будет реализовано, оно полностью изменит стандарты безопасности всей экосистемы ИИ.
В то время «безопасность и выравнивание» перестанут быть просто лозунгом.
Когда RSI уже приближается, скорость самоулучшения ИИ уже давно оставила человечество далеко позади.
Смогут ли гиганты действительно заставить себя нажать на тормоза?
Ссылки:
https://x.com/theinformation/status/2102095568335970690
https://www.theinformation.com/articles/openai-anthropic-neared-deal-stress-test-others-ai
Эта статья взята из публичного аккаунта WeChat «Xin Zhi Yuan», автор: ASI Revelation; редакторы: Aeneas David
