Le cofondateur d'Ethereum, Vitalik Buterin, a soutenu la décision de Moonshot AI de limiter les capacités avancées de piratage dans son modèle Kimi K3.1 Pro, avertissant qu'une gestion inadéquate des risques de sécurité liés à l'IA pourrait conduire à des contrôles d'identité restrictifs et à une surveillance généralisée.
Résumé
- Vitalik Buterin soutient la limitation des capacités dangereuses de l'IA sans restreindre l'accès en fonction de l'identité des utilisateurs.
- Le modèle Kimi filtré de Moonshot a obtenu 81 %, contre 90,5 % pour sa version non filtrée.
- Buterin a averti que des attaques d'IA non contrôlées pourraient encourager un KYC obligatoire et une surveillance intrusive.
- Moonshot prévoit de publier les poids ouverts de Kimi K3.1 Pro d'ici le 4 novembre.
Dans une publication du 26 octobre sur X, Buterin a défendu la décision de Moonshot d'exclure du matériel avancé de cybersécurité offensive de l'entraînement du modèle, arguant que les développeurs ont besoin de plus de temps pour renforcer les logiciels contre des attaques d'IA de plus en plus capables.
Ces commentaires font suite à l'annonce par Moonshot, le 23 octobre, de Kimi K3.1 Pro, déjà disponible via ses applications et son API. La startup chinoise compte publier les poids complets du modèle d'ici le 4 novembre.
Vitalik Buterin soutient la limitation des capacités dangereuses de l'IA
La position de Vitalik Buterin repose sur la distinction entre restreindre ce qu'un modèle d'IA peut faire et décider quelles personnes devraient être autorisées à l'utiliser.
« Discriminer contre des cas d'usage est BEAUCOUP moins grave que discriminer contre des utilisateurs », a-t-il écrit, soutenant la décision de Moonshot de laisser les capacités avancées de cyberoffensive hors de l'entraînement.
Il a soutenu que le monde a besoin de temps pour se préparer à de puissantes attaques pilotées par l'IA en renforçant les infrastructures existantes, en examinant les logiciels plus anciens et en appliquant la vérification formelle au code nouvellement développé.
La vérification formelle consiste à vérifier mathématiquement si un logiciel satisfait à des exigences spécifiées. Buterin a soutenu à plusieurs reprises cette approche comme moyen de détecter les faiblesses de sécurité avant le déploiement des programmes.
En septembre, il a rejeté les affirmations selon lesquelles le piratage assisté par l'IA finirait par rendre la cybersécurité impossible à gagner, arguant que la vérification automatisée pourrait améliorer la capacité des défenseurs à sécuriser les logiciels.
Ses derniers commentaires ne suggéraient pas que la suppression de matériel d'entraînement dangereux empêcherait d'autres développeurs de produire des modèles plus capables.
Lorsque l'utilisateur de X LOID a demandé si des laboratoires concurrents finiraient de toute façon par développer des capacités offensives avancées, Buterin a répondu : « Oui, bien sûr qu'ils le feront. »
Moonshot rapporte un impact mesurable des restrictions de sécurité de Kimi
Moonshot a présenté Kimi K3.1 Pro comme un modèle à poids ouverts amélioré, construit sur son architecture Kimi K3 existante.
Selon l'annonce technique de l'entreprise, les développeurs ont retiré des données sélectionnées liées aux cyberattaques de l'entraînement et de l'apprentissage par renforcement tout en conservant les capacités de programmation générales.
Cette décision a réduit les performances sur le benchmark interne d'exploitation de Moonshot. Une version sans les restrictions a résolu 90,5 % des tâches, contre 81 % pour le modèle publié.
La différence s'élève à 9,5 points de pourcentage, bien que l'entreprise n'ait pas établi comment cette réduction se traduit en prévention réelle des cyberattaques.
Moonshot a rapporté que le modèle précédent Kimi K3 avait obtenu 33,3 % à la même évaluation, ce qui indique que le successeur restreint a tout de même obtenu des performances considérablement meilleures lors de ses propres tests.
Sur Terminal-Bench 4.0, le nouveau modèle a atteint 65,7 %, contre des scores rapportés par Moonshot de 66,4 % pour Claude Opus 5.5 et de 58,2 % pour GPT-6 Astra.
Ces chiffres de performance proviennent des tests de Moonshot et n’ont pas été vérifiés de manière indépendante.
L’entreprise a publié une version Highspeed dont elle affirme qu’elle fonctionne deux à trois fois plus vite que l’offre standard.
Buterin avertit que des défaillances de l’IA pourraient conduire à des contrôles d’accès plus stricts
Au-delà des préoccupations immédiates en matière de cybersécurité, Vitalik Buterin a averti que les gouvernements et les entreprises technologiques pourraient réagir à de graves incidents liés à l’IA en imposant des restrictions aux utilisateurs ordinaires.
Il a décrit un avenir possible impliquant des modèles verrouillés, des vérifications obligatoires Know Your Customer et une surveillance intrusive.
Dans de tels arrangements, l’accès à des outils d’IA avancés pourrait dépendre de la nationalité d’une personne, de ses documents d’identité ou d’autres justificatifs.
Buterin a averti que certains utilisateurs pourraient devenir des participants « de deuxième, troisième ou quatrième classe » en fonction de leurs qualifications ou de leur citoyenneté.
Ses préoccupations sont cohérentes avec ses récentes expérimentations impliquant un accès privé à l’IA.
Le 16 octobre, il a présenté une configuration d’agent axée sur la confidentialité combinant le routage Tor, des paiements anonymes via zkAPI et une réécriture locale des invites afin de réduire les informations personnelles exposées aux modèles externes.
Le système a été conçu pour permettre aux utilisateurs d’accéder aux services d’IA tout en limitant la divulgation de leur identité et de leur activité.
La cybersécurité de l’IA reste une préoccupation pour les développeurs de blockchain
Des évaluations indépendantes ont déjà examiné les capacités offensives des modèles de Moonshot.
En juillet, le Center for AI Standards and Innovation des États-Unis et l’AI Security Institute du Royaume-Uni ont évalué Kimi K3 face à des cyberattaques simulées.
Les chercheurs ont constaté que le modèle obtenait des résultats inférieurs à ceux des principaux systèmes dotés de capacités cyber, mais qu’il pouvait néanmoins tenter des opérations offensives malgré ses garde-fous existants.
Lors d’une attaque simulée contre un réseau d’entreprise, Kimi K3 a accompli en moyenne 17 étapes sur 32, contre 28,5 pour les modèles américains les plus performants testés.
L’évaluation portait sur la version précédente de Kimi K3, et non sur le K3.1 Pro nouvellement introduit.
Auparavant, Buterin a proposé d’orienter davantage de travaux de développement assisté par l’IA vers les tests de sécurité et la vérification mathématique.
En mai, il a identifié des applications de cette approche dans les machines virtuelles à connaissance nulle d’Ethereum, les preuves cryptographiques, les systèmes de consensus et la recherche sur la sécurité résistante aux ordinateurs quantiques.
