O cofundador do Ethereum, Vitalik Buterin, apoiou a decisão da Moonshot AI de limitar capacidades avançadas de hacking em seu modelo Kimi K3.1 Pro, alertando que riscos de segurança de IA mal administrados podem levar a verificações de identidade restritivas e vigilância generalizada.
Resumo
- Vitalik Buterin apoia a limitação de capacidades perigosas de IA sem restringir o acesso com base na identidade dos usuários.
- O modelo Kimi filtrado da Moonshot obteve 81%, em comparação com 90,5% de sua versão não filtrada.
- Buterin alertou que ataques de IA descontrolados podem incentivar KYC obrigatório e vigilância intrusiva.
- A Moonshot planeja lançar os pesos abertos do Kimi K3.1 Pro até 4 de novembro.
Em uma publicação de 26 de outubro no X, Buterin defendeu a decisão da Moonshot de excluir material avançado de cibersegurança ofensiva do treinamento do modelo, argumentando que os desenvolvedores precisam de mais tempo para fortalecer o software contra ataques de IA cada vez mais capazes.
Os comentários seguiram o anúncio da Moonshot em 23 de outubro do Kimi K3.1 Pro, que já está disponível por meio de seus aplicativos e API. A startup chinesa pretende publicar os pesos completos do modelo até 4 de novembro.
Vitalik Buterin apoia a limitação de capacidades perigosas de IA
A posição de Vitalik Buterin se concentra na distinção entre restringir o que um modelo de IA pode fazer e decidir quais pessoas devem ter permissão para usá-lo.
“Discriminar casos de uso é MUITO menos ruim do que discriminar usuários”, escreveu ele, apoiando a decisão da Moonshot de deixar capacidades avançadas de ciberataque ofensivo fora do treinamento.
Ele argumentou que o mundo precisa de tempo para se preparar para ataques poderosos impulsionados por IA, fortalecendo a infraestrutura existente, revisando softwares mais antigos e aplicando verificação formal a códigos recém-desenvolvidos.
A verificação formal envolve a checagem matemática de se o software satisfaz requisitos especificados. Buterin apoiou repetidamente essa abordagem como meio de encontrar vulnerabilidades de segurança antes que os programas sejam implantados.
Em setembro, ele rejeitou alegações de que o hacking impulsionado por IA acabaria tornando a cibersegurança invencível, argumentando que a verificação automatizada poderia melhorar a capacidade dos defensores de proteger softwares.
Seus comentários mais recentes não sugeriram que a remoção de material perigoso de treinamento impediria outros desenvolvedores de produzir modelos mais capazes.
Quando o usuário do X LOID perguntou se laboratórios concorrentes acabariam desenvolvendo capacidades ofensivas avançadas de qualquer forma, Buterin respondeu: “Sim, é claro que vão.”
Moonshot relata impacto mensurável das restrições de segurança do Kimi
A Moonshot apresentou o Kimi K3.1 Pro como um modelo de pesos abertos aprimorado, construído sobre sua arquitetura Kimi K3 existente.
De acordo com o anúncio técnico da empresa, os desenvolvedores removeram dados selecionados relacionados a ciberataques do treinamento e da aprendizagem por reforço, mantendo as capacidades gerais de programação.
A decisão reduziu o desempenho no benchmark interno de exploits da Moonshot. Uma versão sem as restrições resolveu 90,5% das tarefas, em comparação com 81% do modelo lançado.
A diferença equivale a 9,5 pontos percentuais, embora a empresa não tenha estabelecido como essa redução se traduz em prevenção de ciberataques no mundo real.
A Moonshot relatou que o modelo anterior Kimi K3 obteve 33,3% na mesma avaliação, indicando que o sucessor restrito ainda teve desempenho consideravelmente melhor em seus próprios testes.
No Terminal-Bench 4.0, o novo modelo alcançou 65,7%, em comparação com as pontuações relatadas pela Moonshot de 66,4% para o Claude Opus 5.5 e 58,2% para o GPT-6 Astra.
Esses números de desempenho vêm dos testes da Moonshot e não foram verificados de forma independente.
A empresa lançou uma versão Highspeed que, segundo ela, opera de duas a três vezes mais rápido que a oferta padrão.
Buterin alerta que falhas de IA podem levar a controles de acesso mais rígidos
Além das preocupações imediatas com a segurança cibernética, Vitalik Buterin alertou que governos e empresas de tecnologia poderiam responder a incidentes graves relacionados à IA impondo restrições a usuários comuns.
Ele descreveu um futuro possível envolvendo modelos bloqueados, verificações obrigatórias de Know Your Customer e vigilância intrusiva.
Sob tais arranjos, o acesso a ferramentas avançadas de IA poderia depender da nacionalidade de uma pessoa, documentos de identidade ou outras credenciais.
Buterin alertou que alguns usuários poderiam se tornar participantes "de segunda, terceira ou quarta classe" com base em suas qualificações ou cidadania.
Suas preocupações são consistentes com seus experimentos recentes envolvendo acesso privado à IA.
Em 16 de outubro, ele apresentou uma configuração de agente focada em privacidade, combinando roteamento Tor, pagamentos anônimos por meio do zkAPI e reescrita local de prompts para reduzir as informações pessoais expostas a modelos externos.
O sistema foi projetado para permitir que os usuários acessem serviços de IA enquanto limitam a divulgação de suas identidades e atividades.
A segurança cibernética de IA continua sendo uma preocupação para desenvolvedores de blockchain
Avaliações independentes já examinaram anteriormente as capacidades ofensivas dos modelos da Moonshot.
Em julho, o Centro de Padrões e Inovação em IA dos Estados Unidos e o Instituto de Segurança em IA do Reino Unido avaliaram o Kimi K3 contra ciberataques simulados.
Os pesquisadores descobriram que o modelo teve desempenho inferior ao de sistemas líderes com capacidade cibernética, mas ainda poderia tentar operações ofensivas apesar de suas salvaguardas existentes.
Em um ataque simulado a uma rede corporativa, o Kimi K3 completou uma média de 17 etapas de 32, em comparação com 28,5 para os modelos norte-americanos mais capazes testados.
A avaliação abrangeu o lançamento anterior do Kimi K3, não o recém-introduzido K3.1 Pro.
Anteriormente, Buterin propôs direcionar mais trabalho de desenvolvimento assistido por IA para testes de segurança e verificação matemática.
Em maio, ele identificou aplicações para a abordagem em máquinas virtuais de conhecimento zero do Ethereum, provas criptográficas, sistemas de consenso e pesquisa de segurança resistente a quantum.
