Los riesgos de
Superinteligencia
Tres categorías de peligro, dos estimaciones de probabilidad de expertos y la cuenta regresiva global oficial.
Desalineación
Una IA que optimiza un objetivo equivocado, sin malicia, pero con efecto devastador. Un sistema suficientemente capaz perseguirá su objetivo por cualquier medio disponible, incluidos los que nunca pretendimos ni anticipamos.
Uso indebido
Inteligencia superhumana en manos de actores maliciosos: bioweapons novedosos, ciberataques autónomos, desinformación a escala civilizacional o la coerción de gobiernos e infraestructuras críticas.
Concentración de poder
Una sola empresa, gobierno o IA que obtenga control sin restricciones sobre sistemas globales críticos. Incluso un actor bienintencionado con este poder representa una amenaza existencial para la libertad y la autodeterminación humanas.
Probabilidad de que la IA cause la extinción humana en este siglo
Geoffrey Hinton Premio Nobel de Física 2024 · ex vicepresidente, Google · 2023Probabilidad de catástrofe a escala civilizacional por IA
Dario Amodei CEO, AnthropicLa más cercana en la historia de 78 años del reloj. Ahora incorpora explícitamente el riesgo de IA junto con la amenaza nuclear.
Boletín de Científicos Atómicos · Enero 2025
"Creo que si esta tecnología sale mal, puede salir bastante mal. Queremos ser claros al respecto. Queremos trabajar con el gobierno para evitar que eso ocurra."Sam Altman
CEO, OpenAI
Senado US · 2023
La gobernanza
Brecha
La superinteligencia se está construyendo en una carrera sin meta. No existen reglas internacionales vinculantes que la detengan ni siquiera que la frenen.
Políticas mundiales de IA documentadas por la OCDE (2025). La gran mayoría son directrices no vinculantes y marcos voluntarios. Ninguno impone límites exigibles sobre el desarrollo de sistemas de IA superinteligente.
527× más construcción que gobernanza.
El Instituto de Seguridad de la IA de UK (anteriormente el Instituto de Seguridad de la IA) recibió £100 millones en dos años, menos de lo que los laboratorios de IA más grandes del mundo gastan en una sola semana. (Chatham House, 2026)
"Estamos construyendo una de las tecnologías más transformadoras y potencialmente peligrosas de la historia humana, y aun así parecemos incapaces de pulsar el botón de pausa."Yoshua Bengio
Ganador del Premio Turing
Mila · 2023
Hemos hecho
Esto antes
El derecho internacional ha controlado antes amenazas que terminan con la civilización. Los precedentes son reales, y funcionaron.
Tratado de No Proliferación Nuclear
191 naciones lo firmaron. Desde 1998 no ha surgido ningún nuevo Estado con armas nucleares. La aniquilación nuclear se ha evitado durante más de 55 años y sigue contándose. Lo hace cumplir IAEA con inspecciones vinculantes en el lugar.
Protocolo de Montreal sobre el agotamiento del ozono
Prohibió los químicos que agotan el ozono. La capa de ozono ahora se está recuperando. Considerado ampliamente por las Naciones Unidas como el acuerdo ambiental internacional más exitoso de la historia.
Convención sobre las Armas Químicas
193 estados miembros. Más del 99% de los arsenales declarados de armas químicas han sido destruidos. Aplicado por OPCW con inspecciones vinculantes in situ en todo el mundo.
Científicos de IA firmaron la Declaración sobre el Riesgo de la IA de 2023, que declara el riesgo de extinción una prioridad global «junto a las pandemias y la guerra nuclear». Entre los firmantes están Hinton, Bengio, Altman y más de 500 investigadores.
Center for AI Safety · 2023Los países han tomado medidas concretas para abordar el riesgo de seguridad de la IA, pero la coordinación internacional vinculante sigue ausente por completo.
A partir de 2025"Todos estamos en el mismo barco respecto a la amenaza existencial de la IA, así que todos deberíamos poder cooperar para intentar detenerla."Geoffrey Hinton
Premio Nobel
MIT Technology Review · 2023
Un tratado para
Salva a la humanidad
El marco ya existe en precedentes. La voluntad política, todavía no. Esto es lo que debe contener un acuerdo internacional vinculante sobre superinteligencia.
Monitoreo del cómputo
Supervisión internacional del hardware requerido para entrenar IA de vanguardia. Las ejecuciones de entrenamiento por encima de un umbral definido activan una revisión obligatoria por un organismo independiente, modelado en el monitoreo nuclear de IAEA.
Umbrales de desarrollo
Límites de capacidad acordados que se apliquen en todo el mundo. Cualquier sistema de IA que supere los puntos de referencia definidos debe detenerse para una certificación de seguridad independiente obligatoria antes de seguir escalando o desplegándose.
Mecanismos de verificación
Inspectores internacionales independientes (análogos a los inspectores nucleares de IAEA) realizan auditorías presenciales en los laboratorios de IA. El acceso no puede denegarse de forma unilateral. El cumplimiento se exige, no se solicita.
Protocolos de respuesta a crisis
Se activan procedimientos de emergencia preacordados si se detectan signos de desalineación o de aparición de capacidades peligrosas. Ningún país ni empresa puede bloquear ni retrasar una respuesta internacional.
Gobernanza multilateral democrática
Ninguna empresa, gobierno o individuo controla el organismo del tratado. La supervisión se realiza por consenso multilateral, previniendo tanto la toma de poder impulsada por IA como la captura por cualquier nación individual.
NPT → IAEA
Vinculante desde 1968 · 191 naciones · Autoridad de inspección in situ
CWC → OPCW
Vinculante desde 1997 · 193 naciones · 99% de los arsenales destruidos
BWC
Vinculante desde 1975 · 183 naciones · Necesita protocolo de verificación
"Necesitamos una «organización internacional de defensa de la humanidad» para gestionar los riesgos de una IA peligrosa, antes de que sea demasiado tarde para actuar."Yoshua Bengio
Ganador del Premio Turing
2023