Expertos en seguridad piden a EE. UU. y China que prometan no dejar nunca que la IA controle las armas nucleares

Expertos en seguridad de Estados Unidos y China han propuesto reglas que prohibirían que la inteligencia artificial lance de forma independiente ciberataques contra sistemas de mando nuclear o decida usar armas nucleares.

Un reciente informe de Brookings y la Universidad de Fudan, con sede en Shanghái, insta a Estados Unidos y China a extender su compromiso con el control humano de las armas nucleares a otros usos militares de la IA, incluidos los ciberataques contra sistemas de mando nuclear.

“Los presidentes Donald Trump y Xi Jinping pueden liderar la gobernanza de estos peligros al acordar que solo los humanos, y no la IA, deben tomar la decisión de iniciar un ciberataque contra los sistemas de mando, control y comunicaciones nucleares (NC3) del otro o contra infraestructuras críticas”, escribieron los investigadores.

Los sistemas NC3 ayudan a los gobiernos a detectar amenazas, decidir si utilizar armas nucleares y transmitir órdenes de lanzamiento, pero fallos en cualquier etapa podrían interrumpir las comunicaciones, malinterpretar un ataque, alentar un primer ataque o desencadenar un lanzamiento accidental o no autorizado.

“Extender el principio aplicado a las armas nucleares —que los ataques con efectos estratégicos deben expresar la intención humana y deben estar sujetos a la responsabilidad humana— no requiere que Washington y Pekín compartan otros principios de ciberseguridad o protección de infraestructuras”, escribieron los investigadores.

El acuerdo propuesto requeriría que ambos países reduzcan el riesgo de que la casualidad, el error humano, una IA impredecible o actores no autorizados puedan desencadenar ataques con consecuencias estratégicas.

El llamado a salvaguardias de estilo nuclear es parte de un creciente debate sobre cómo frenar el desarrollo de la IA y mantener los sistemas cada vez más capaces bajo control humano. La preocupación es especialmente aguda en el ámbito militar, donde las decisiones automatizadas tomadas en milisegundos podrían convertir una falsa alarma o un ciberataque en una crisis nuclear.

Esa preocupación se subrayó en febrero cuando modelos de OpenAI, Google y Anthropic usaron armas nucleares en el 95% de los escenarios de juegos de guerra probados, aunque los expertos advirtieron que la simulación podría haber fomentado la escalada.

BitcoinBTC · USD

$76,418−0.94%

Sep 10Sep 12Sep 14Sep 16Sep 17

$79.2k$78.0k$76.7k$75.5k

24h HighHigh$77,024

24h LowLow$75,602

VolVol$872.8M

Market projectionsOdds by Myriad

This weekAbove $76,000Above $76k64% chance

Price data by CoinGeckoCoinGeckoMore Bitcoin news and projections →

Ese mismo mes, Anthropic se negó a las exigencias del Pentágono de eliminar las restricciones de Claude sobre la vigilancia masiva y las armas totalmente autónomas. Trump ordenó a las agencias federales que dejaran de usar la tecnología de la empresa, pero un juez federal dictaminó el 28 de agosto que la administración había tomado represalias ilegalmente contra Anthropic.

Desde entonces, los llamados a la moderación se han extendido por toda la industria. A principios de este mes, el CEO de Anthropic, Dario Amodei, instó a los desarrolladores a frenar las mejoras de capacidades, obteniendo el apoyo del CEO de OpenAI, Sam Altman, y del propietario de xAI, Elon Musk, mientras que OpenAI preguntó al Congreso si las empresas podrían coordinar una desaceleración sin violar la ley antimonopolio.

Sin una desaceleración vinculante en vigor, los autores de Brookings proponen una regla más limitada: solo los humanos deberían estar autorizados para autorizar ataques contra sistemas de mando nuclear o el uso de armas nucleares.

"La gobernanza de la IA militar no es una negociación que pueda permitirse esperar: es una carrera contra el tiempo", escribieron.