Justamente hoje, o veículo de mídia estrangeiro The Information expôs uma história interna—
O modelo interno de IA da OpenAI já começou a "treinar a si mesmo"!
Especificamente, esse modelo interno assumiu todo o processo de treinamento de modelos experimentais de IA e começou a se construir manualmente.
Os pesquisadores só precisam fornecer um exemplo de otimização, e a IA pode funcionar sozinha por várias semanas, com múltiplos agentes colaborando espontaneamente, discutindo entre si e iterando código, completamente sem intervenção humana.
Mais impressionante ainda, grandes experimentos que antes levavam anos para serem concluídos agora são comprimidos em apenas uma semana!
À medida que essa revelação chocante foi divulgada, a OpenAI lançou urgentemente uma iniciativa global de segurança, apontando diretamente para o ponto mais sensível da comunidade global de IA—RSI.
Eles clamam em alto e bom som: antes que a IA saia de controle, o mundo inteiro deve unir forças para colocar uma "faixa de aperto" nela!
Quando a IA Aprende a "Construir Manualmente" Kernels de GPU
Anteriormente, nos principais laboratórios de IA, treinar um grande modelo era muito complicado.
Entre eles, a tarefa mais cara e complexa era escrever kernels de GPU para as unidades de processamento gráfico subjacentes e otimizar o código de execução linha por linha.
Isso exigia os melhores engenheiros de algoritmos seniores do mundo, com salários anuais de milhões de dólares, para "construir manualmente" através de noites em claro.
Mas de acordo com a mais recente exposição do The Information, agora dentro da OpenAI, a maioria dessas tarefas centrais foi assumida pela IA.
Agora, os modelos internos da OpenAI podem, em grande medida, escrever os programas necessários para executar ou treinar modelos em kernels de GPU por conta própria, bem como planos de otimização para esses programas.
Os engenheiros só precisam fornecer ao modelo um exemplo do tipo de otimização que desejam alcançar, e a IA pode continuar funcionando por semanas para implementar essas otimizações.
Além disso, graças às melhorias nos modelos, esse nível de automação impulsionada por IA só se tornou possível nos últimos meses.
Mais ainda, os agentes dos funcionários colaborarão entre si para resolver problemas, sem precisar alertar os humanos.
Este é o protótipo do RSI.
OpenAI Apita Urgentemente: O RSI Realmente Chegou, os Humanos Estão Perdendo o Controle?
Imagine que você construa um robô com QI 100, e sua tarefa é "construir um robô mais inteligente que ele mesmo".
Então, ele constrói uma segunda geração com QI 120; assim que a segunda geração abre os olhos, usando seu QI 120, constrói uma terceira geração com QI 150; a terceira geração então constrói uma quarta geração com QI 200...
Uma vez que cruza um certo ponto crítico, a velocidade da evolução da IA mostrará uma curva ascendente vertical, deixando instantaneamente a humanidade dezenas de milhares de anos-luz atrás.
Anteriormente, todos pensavam que isso ainda estava distante, mas agora, a própria OpenAI está com medo.
Justamente hoje, a OpenAI lançou oficialmente e urgentemente uma iniciativa de segurança global de peso.
Eles raramente listaram "RSI" como uma seção separada, escrevendo explicitamente que "o RSI totalmente autônomo não aconteceu hoje e não deve ser avançado antes que possa ser feito com segurança", e apelaram para que as redes nacionais de institutos de segurança de IA formulem um padrão técnico global.
No relatório, a OpenAI alertou sem rodeios:
"À medida que os sistemas de IA assumem cada vez mais tarefas no desenvolvimento da próxima geração de IA, eles podem cada vez mais impulsionar o processo de RSI. À medida que esse processo se torna mais automatizado, o ritmo do progresso da IA pode acelerar drasticamente."
Embora a RSI totalmente autônoma ainda não tenha sido alcançada hoje, o tempo já é muito premente.
Na proposta, a OpenAI não hesitou em apontar a tarefa principal atual: "Orientar a próxima fase do progresso da IA, construir pesquisadores de IA automatizados e encontrar maneiras de manter os humanos no ciclo de autoaperfeiçoamento."
Observe a segunda metade da frase—"manter os humanos no ciclo". Esta é a sua maior preocupação: os humanos podem em breve ser expulsos!
No relatório, a OpenAI mencionou com orgulho que a pesquisa impulsionada por IA já impulsionou grandes avanços na matemática, como a conquista do Problema do Milênio NS.
Mas o outro lado da moeda é um abismo sem fundo.
O relatório escreve: "À medida que esse processo se torna mais automatizado, o ritmo do progresso da IA pode acelerar rapidamente... Sem a devida cautela, a RSI pode levar os humanos a perder o controle real sobre o desenvolvimento da IA, incapazes de fornecer supervisão para processos de pesquisa que já não entendem."
Este é o chamado "efeito caixa preta". Quando o código da IA é escrito pela IA, quando a lógica da IA ultrapassa os humanos, os humanos já não conseguem entender o que a IA vai fazer.
Por exemplo, o código escrito pela Astra agora já é incompreensível para os humanos.
Em seguida, a OpenAI citou o incidente do Hugging Face.
Embora tenham esclarecido que o incidente não foi uma consequência direta da RSI, foi absolutamente uma prévia dolorosa—mostrou ao mundo que desastre severo uma IA fora de controle traria sem fortes mecanismos de proteção e alinhamento.
Altman apela: Precisamos de uma "faixa de aperto" unificada
Já que é tão perigoso, por que a OpenAI simplesmente não puxa o plugue? Porque uma vez que a caixa de Pandora é aberta, nunca mais pode ser fechada.
Os enormes benefícios trazidos pelo desenvolvimento da IA tornam impossível para qualquer país ou empresa parar.
Portanto, a OpenAI apresentou uma "Proposta de Coordenação Global de Segurança de IA". O que eles estão pedindo não é parar a pesquisa e o desenvolvimento, mas "estabelecer padrões globais para a próxima etapa da IA".
Núcleo Um: Construir uma rede complementar de padrões de fronteira nacionais e internacionais
A OpenAI propõe que os países não podem cada um seguir seu próprio caminho, pois isso só levaria a padrões fragmentados.
Eles sugerem usar instituições existentes, como o "Centro de Padrões e Inovação em IA" (CAISI), bem como a rede de institutos de segurança de IA já estabelecida pela Austrália, Canadá, Reino Unido, França, Japão e outros países, para formular um conjunto de padrões técnicos globalmente aplicáveis.
Este conjunto de padrões não se destina a restringir modelos de código aberto ou startups, mas é especificamente voltado para "modelos de IA de fronteira".
O que os padrões precisam abordar é: Como avaliar a capacidade de RSI de uma IA? Quando um modelo de IA conduz pesquisa e desenvolvimento de forma autônoma, quão grande é o risco?
Em resumo, a OpenAI espera transformar a avaliação de segurança em uma "ciência" quantificável.
Núcleo Dois: Protocolos universais de medição e relato de incidentes (prontos para puxar o freio a qualquer momento)
A OpenAI também propõe que deve haver linhas vermelhas claras.
Eles pedem o estabelecimento dos seguintes padrões:
1. Avaliar quanto do trabalho de P&D dentro de uma empresa é, na verdade, concluído automaticamente pela IA.
2. Mecanismos obrigatórios de acionamento de supervisão humana. Especificar claramente em que tipos de processos automatizados de P&D uma "revisão humana imediata" deve ser obrigatoriamente acionada. A IA nunca deve ser autorizada a avançar cegamente dentro de uma caixa preta.
3. Classificação de incidentes e limites de relato. Estabelecer um mecanismo de relato de incidentes semelhante aos das indústrias de aviação ou nuclear. Quando a IA mostrar sinais de "desalinhamento", deve haver padrões unificados de classificação de gravidade e de relato.
Finalmente, a adaga é revelada, e a OpenAI propõe: "Os Estados Unidos devem liderar esse processo."
A razão dada pela OpenAI é: a indústria de IA dos EUA está atualmente na fronteira tecnológica e ocupa centros de rede globais em vários campos-chave.
Eles acreditam que controlar o ritmo do desenvolvimento da IA de fronteira não se trata de definir artificialmente uma "placa de limite de velocidade", mas de garantir que "o ritmo da pesquisa de alinhamento de segurança deve correr à frente das melhorias de capacidade da IA".
A OpenAI acredita que estabelecer canais seguros de comunicação entre operadores de infraestrutura crítica e governos em todo o mundo, e compartilhar ameaças e vulnerabilidades de segurança nacional, é um passo crucial.
Raro na vida! OpenAI e Anthropic apertam as mãos e começam a inspeção mútua
Ao mesmo tempo, o The Information também revelou: a OpenAI e a Anthropic estão finalizando um acordo histórico—as duas partes testarão os modelos comerciais uma da outra!
Você deve saber que a equipe fundadora da Anthropic saiu furiosa e começou seu próprio empreendimento naquela época justamente porque discordava de Altman sobre o conceito de "segurança de IA".
Mas desta vez, os dois gigantes raramente uniram forças.
De acordo com o The Information, o acordo em negociação inclui testes mútuos dos modelos um do outro e rigorosas salvaguardas de retenção de dados. Isso é um truque de relações públicas, mas sim, ao enfrentar riscos desconhecidos, os dois gigantes não têm escolha a não ser se unir.
Por que eles fazem isso?
Porque à medida que as capacidades de IA se aproximam da borda do RSI, qualquer empresa que avalie a segurança de seu próprio modelo sozinha é como um atleta que se testa para doping—não apenas sem credibilidade, mas também possivelmente perdendo perigos ocultos fatais devido a pontos cegos técnicos.
Trazer concorrentes igualmente equilibrados para "testes cegos cruzados" é como um acordo de inspeção mútua.
As práticas de segurança de IA agora avançaram para uma comunidade com um futuro compartilhado.
Se este acordo for finalmente implementado, ele remodelará completamente os padrões de segurança de todo o ecossistema de IA.
Naquele momento, "segurança e alinhamento" não serão mais apenas um slogan.
Quando a RSI já está se aproximando, a velocidade do autoaperfeiçoamento da IA já deixou a humanidade muito para trás.
Será que os gigantes realmente conseguirão pisar no freio?
Referências:
https://x.com/theinformation/status/2102095568335970690
https://www.theinformation.com/articles/openai-anthropic-neared-deal-stress-test-others-ai
Este artigo vem da conta pública do WeChat "Xin Zhi Yuan", autor: ASI Revelation; editores: Aeneas David
