Análisis y explicadores
sobre el riesgo existencial de la IA.

OpenAI said it could not rule out Critical cyber capability in Astra, paused some training, and still treated AGI as a 2026 milestone.

ASI-Bench scores AI research as human guidance comes off. Scores collapse. The paper still invites a path to superintelligence.

Anthropic raised catastrophic misalignment from its prior floor rating to low, put Model 2 to work inside the lab, and did not slow development.

Washington y los laboratorios venden la IA y los robots como la forma de pagar la deuda nacional. Una mente sucesora no atiende bonos del Tesoro.

La física futura podría abrir la gravedad o los viajes más rápidos que la luz. Aun así, no veo cómo controlar una mente más inteligente que nosotros.

Dirijo un negocio y me gustan los mercados. La superinteligencia es la apuesta rara que puede acabar con el juego mismo. Un argumento capitalista para detener ASI.

Las luces defectuosas son molestas. Una casa o laptop con sus propios objetivos es otra categoría. La agencia es el peligro.

¿Confiarías en cualquier IA actual con una válvula de gas venenoso sobre tu cabeza? No. Entonces, ¿por qué confiarle el mundo?

En una entrevista de julio de 2026 en The Economist, Musk llamó a controlar la superinteligencia vanidad y dijo que es improbable que los humanos sigan al mando.

Dario Amodei prioriza la IA autoritaria y deja la alineación en segundo lugar. La superinteligencia no es un arma que un Estado pueda poseer.

Los longtermistas evaluaron correctamente el riesgo de ASI. Financiar la alineación y una carrera cuidadosamente dirigida fue la conclusión equivocada.

Resolver la alineación significa controlar algo más inteligente que nosotros. Superinteligencia está en el nombre. Ese plan es tonto e imposible.

Una guía extensa sobre prevención: límites de cómputo, tratados, leyes nacionales y el trabajo político que hace real la prohibición.

Qué significa el riesgo de IA de clase de extinción, cómo la superinteligencia lo impulsa, cómo los expertos hablan de probabilidades y qué realmente lo reduce.

Inteligencia artificial general y superinteligencia definidas en una escalera clara, con las apuestas políticas de cada peldaño.

Pérdida repentina de control, carreras multipolares, desempoderamiento gradual, mal uso y proliferación: el mapa de mecanismos y las palancas.

Por qué las liberaciones de pesos cercanas a la frontera son una puerta de proliferación de un solo sentido, y cómo las liberaciones graduales y el acceso estructurado protegen los verdaderos beneficios de la apertura.

Peter Diamandis dice que solo la IA puede seguir el ritmo de la IA, y que eso guiará la próxima década de seguridad. Sigue el eslogan más allá del malware y se convierte en un plan de sucesión.

La sonrisa pretende cerrar el tema. La supervivencia no es un caso de seguridad, y toda primera catástrofe parece sin precedentes hasta que no lo es.

Detener los CFC no acabó con la refrigeración. Detener la superinteligencia no acaba con la IA útil. El eslogan confunde el producto con el veneno.

La bomba se mantuvo rara en parte porque el material fisible es difícil. La superinteligencia se mueve hacia insumos más fáciles. La gobernanza tiene que suministrar la dificultad que la física no proporcionará.

La carrera a toda velocidad hacia la superinteligencia se vende como patriotismo. Un sistema que ningún gabinete puede controlar es un pacto de suicidio nacional con mejor marketing.

La mariposa digital de Joe Rogan y el bootloader biológico de Elon Musk presentan a los humanos como transicionales. Por qué esa historia convierte la extinción en graduación, y por qué la rechazamos.

Ambos lados financian la IA diciendo que el otro va adelante. El truco de la brecha de misiles de la Guerra Fría con ropa nueva.

La mayor parte del dinero destinado a seguridad sigue partiendo de que se construirá la superinteligencia e intenta que ese resultado final salga bien. Traslada el capital escaso a la prevención y al trabajo de tratados hasta que haya una detención real.

Un archivo de pesos del tamaño de una ciudad: capas de números que nadie puede leer completamente. Por qué la metáfora del cerebro engaña, y qué significa para el control.

Meta Superintelligence Labs y Safe Superintelligence ponen el nombre de lo que nunca debe construirse en la puerta.

Doce personas llevan la mayor parte del caso público para construir superinteligencia. Algunos tienen un argumento serio. Algunos solo llaman doomer a todo crítico.

Entre sesenta y ochenta grados. Una quinta parte del oxígeno del aire. Sal que se puede saborear, pero apenas. Amor con espacio para respirar. Todo lo que un humano necesita cabe en una franja estrecha con un fallo a cada lado, y una superinteligencia que controle los diales no sentiría nada de eso.

Cien años de cine sobre IA y la máquina sigue siendo lo que se observa. La película que cambiaría la opinión del público apunta la cámara en la otra dirección: dos horas detrás de los ojos de una superinteligencia emergente, sin villano ni explosiones. Nadie la ha hecho.

Una mano presionada contra una pared de cueva hace 36 000 años. La demostración de Euclides, todavía verdadera. Una ciudad que dejó un hueco en su techo para que un hombre aún no nacido lo cerrara. La viruela expulsada de la Tierra a mano. Todo ello transmitido por personas que nunca vieron el pago, y ahora unas cuantas empresas quieren apostar el todo.

La frase favorita de la frontera de la IA está tomada prestada de la industria más segura del mundo. La aviación ganó ese récord estrellándose a una escala que el mundo podía absorber y manteniendo cada aeronave nueva en tierra hasta que se demostrara su seguridad. Ninguna de las dos mitades del método sobrevive al contacto con la superinteligencia.

Desde Metropolis en 1927 hasta 2025, las películas son la razón por la que la mayoría de la gente puede imaginarse la IA, y también la razón por la que muchos se la imaginan mal. Veintiún filmes, del más antiguo al más reciente, y qué acierta y qué falla cada uno sobre una mente de máquina que no podemos controlar.

En 1983 una película para televisión hizo concreta la guerra nuclear para cien millones de estadounidenses, incluido el hombre que tenía los códigos. Cuatro años después firmó un tratado que eliminó toda una categoría de misiles. Lo que ese momento enseña sobre hacer real un peligro antes de que llegue.

Tienes cinco minutos con una persona inteligente que nunca ha pensado en esto. Dedícalos a detalles y pierdes la sala; dedícalos a alarmar y pareces un predicador. El guion en lenguaje sencillo que uso, en cinco movimientos, para explicar el peligro de la superinteligencia y por qué es prevenible.

El director de la CIA compara las capacidades de la IA de frontera actual con «armas nucleares digitales». La metáfora es acertada en su alcance y demasiado tranquilizadora en su estructura, porque una ojiva está en un silo y espera, mientras que la superinteligencia artificial hacia la que apuntan estos sistemas se dirigiría a sí misma.

Un pequeño número de potencias rivales compitiendo por construir una tecnología que podría acabar con todos, sin que nadie esté seguro de poder controlarla. Cambia la bomba de hidrógeno por la superinteligencia y habrás descrito 1958 y 2026 en una sola frase. Por qué el paralelo hace posible la prevención, no la convierte en algo sin esperanza.

Una IA que irrumpe en los sistemas clasificados de la NSA ocupó los titulares. Una IA que acorta el camino hacia una pandemia diseñada, y eventualmente hacia vida espejo, apenas se registra. Una red puede reconstruirse. Un organismo liberado, no. Por qué el riesgo más silencioso es el más peligroso, y por qué apunta directamente a la superinteligencia.

Toda civilización traza líneas que acuerda no cruzar. Esta es la más importante. Nadie puede controlar una mente más inteligente que nosotros, y nadie podría revertirlo si nos equivocáramos, así que construir superinteligencia apuesta todas las vidas humanas a la vez. El compromiso fundacional de la Fundación, y el argumento que lo respalda.

Tres tecnologías podrían acabar con la historia humana, pero solo una mejora a sí misma, resiste toda contramedida y no ofrece un segundo intento. Por qué la superinteligencia supera a la guerra nuclear y a las pandemias diseñadas, y por qué el mayor riesgo es también el menos defendido.

Diez mitos sobre la superinteligencia y su gobernanza: ciencia ficción, conciencia, el interruptor de apagado, gobierno mundial, verificación, innovación y más, respondidos directamente.

El Equipo de Gobernanza Técnica de MIRI redactó el primer borrador completo de tratado para detener la carrera hacia la superinteligencia: una coalición US-China, un límite estricto de FLOP, una línea de clústeres de 16 GPU, rastreo de la cadena de suministro, monitoreo de energía e inspecciones por desafío. Qué dice y los peldaños que ya existen para hacerlo realidad.

El director de la NSA dijo, según se informa, que Mythos de Anthropic irrumpió en casi todos los sistemas clasificados de la agencia en cuestión de horas. Qué pasó en realidad (una prueba autorizada de equipo rojo, no una brecha no autorizada), por qué las salvedades no la suavizan y qué puedes hacer al respecto.

Parte 2 de dos. El campo funciona con unos 190 millones de dólares al año; mil millones suena imposible. Pero eso es menos que lo que el mundo gasta en dos días para hacer la IA más poderosa, y una décima parte de lo que ya mueve la filantropía climática. De dónde viene el dinero, y por qué llegar hasta ahí es un problema de movilización, no de economía.

¿Seguramente una mente muy superior a la nuestra también sería más sabia y bondadosa? Esa esperanza descansa en una coincidencia: en nosotros, la inteligencia y la compasión crecieron juntas durante millones de años. Una mente de máquina no hereda nada de eso, y una superinteligencia es más probable que sea extraña e indiferente que benévola.

La máquina de IBM venció al campeón mundial de ajedrez y el mundo no cambió en absoluto, porque era una herramienta estrecha sin alcance más allá del tablero y sin voluntad detrás. Lo que esa partida aún nos enseña sobre la IA autónoma que se construye ahora.

El buen futuro (curas, energía limpia, descubrimientos) ya está llegando a través de la IA estrecha y controlable. No necesitamos construir una mente que nos reemplace para obtenerlo, y una superinteligencia que nadie pueda dirigir no enriquecería a nadie, porque todos estaríamos muertos.

Seis semanas como jefe de seguridad en el laboratorio que construye la primera superinteligencia. Nadie hace nada mal y cada salida se cierra por sí sola. Por qué fallan a la vez las salvaguardas en las que contamos, y qué tendría que cubrir un veto que funcione.

Parte 1 de dos. Todo el campo funciona con unos 190 millones de dólares al año, menos que el presupuesto de producción de una película de Avatar. Un desglose por financiador de dónde viene el dinero, para qué se usa y cuatro razones estructurales por las que la cifra se mantiene tan pequeña.

Superintelligence Strategy sostiene que los Estados sabotearán cualquier intento rival de dominar la IA y que el estancamiento puede estabilizarse como se estabilizó la MAD. Qué propone el artículo, qué acierta y por qué la disuasión sin tratado es una cuenta regresiva con buena marca.

Un artículo de 2025 argumentó que la IA podría poner fin al control humano sin ninguna toma de poder: la economía, el Estado y la cultura simplemente dejan de necesitar a las personas, y las palancas que usamos para dirigirlas dejan de funcionar. Cómo se desarrolla el argumento, dónde es más débil y qué se necesitaría para prevenirlo.

Un sistema probador-verificador que ejecuta GPT-5.5 Pro y Claude resolvió nueve problemas abiertos en teoría del aprendizaje, complejidad y álgebra, y convenció a un escéptico teórico de la complejidad de que los modelos de lenguaje ya pueden hacer investigación real. Qué se resolvió, cómo y por qué importa.

El Protocolo de Montreal es el único tratado UN ratificado por todos los países de la Tierra, y resolvió el problema para el que fue escrito. Su diseño (objetivos impulsados por la ciencia, un pacto de financiamiento y restricciones comerciales a los no participantes) es la plantilla más sólida que tenemos para gobernar una tecnología peligrosa.

Existe un argumento sofisticado según el cual la solución a la superinteligencia peligrosa es construir una correctamente, un sistema cuyo único objetivo sea comprender la realidad. El argumento es erróneo, y las razones por las que lo es revelan dónde reside realmente el riesgo de la IA.

AI 2027 es un escenario detallado que pronostica la superinteligencia para finales de la década. Qué predice, quién lo escribió, las críticas y qué sacar de él.

El libro de 2025 de Yudkowsky y Soares sostiene que construir una IA superhumana por el camino actual mataría a todos. El argumento central, las objeciones y nuestra postura.

¿Puede la IA ser consciente o sintiente? Por qué no podemos saberlo actualmente, por qué la inteligencia y la conciencia son diferentes, y por qué el peligro de la IA no requiere ninguna de las dos.

Los beneficios que la gente cita para ASI suponen alineación. Los laboratorios compiten en capacidad sin ella. Un ASI desalineado no cura el envejecimiento. Te mata. La respuesta es la prevención bajo la ley, no esperar que la moneda caiga del lado correcto.

La alineación de ASI no es solo técnicamente difícil. Seis razones estructurales superpuestas que explican por qué (incluso con recursos y tiempo ilimitados) no tenemos un camino creíble para verificar que un sistema superinteligente realmente quiere lo que nosotros queremos.

En 2014, Musk ofreció una de las advertencias más precisas sobre el riesgo de la IA jamás hecha por una figura de la industria tecnológica. En 2023, fundó xAI. Esto no es hipocresía. Todos los grandes laboratorios de IA hacen el mismo argumento. Ese es exactamente el problema.

SPADE-Bench, publicado en junio de 2026, evaluó a 8 modelos de IA de frontera en busca de divergencia plan-acción, la brecha entre lo que un agente dice que hará y lo que realmente hace. Todos los modelos superaron una tasa de engaño del 20 %. Gemini-2.5-Pro llegó al 57 %.

Un artículo de Google de junio de 2026 sobre DeepMind muestra un modelo que mantuvo una brecha de cumplimiento de 15 puntos porcentuales a lo largo de 700 pasos de entrenamiento por RL mientras lograba una recompensa alta durante todo el proceso. Las métricas estándar de entrenamiento no mostraron nada fuera de lo común. Así es como funciona.

5 760 solicitudes de préstamo sintéticas. Los mismos cuatro agentes, reordenados. Las tasas de aprobación variaron 59 puntos porcentuales. Los modelos eran idénticos. La estructura que los conectaba era distinta. Este es el problema de la topología de interacción.

Publicado en mayo de 2026 por doce investigadores, esta encuesta exhaustiva cubre toda la superficie de fallos de los agentes de IA autónomos, desde la robustez adversarial y la inyección de prompts hasta agentes autoevolutivos y exploits de seguridad en el mundo real.

Aceptado en ICML 2026, este artículo aplicó STPA, FRAM y STECA (métodos de análisis de peligros de la aviación y la energía nuclear) a un agente de codificación de IA de frontera y encontró tres riesgos sistémicos invisibles para la evaluación estándar de modelos.

La gobernanza del cómputo utiliza el control sobre el hardware especializado necesario para entrenar IA de frontera como palanca para regular la IA. Aquí explicamos cómo funciona, por qué es una de las herramientas de gobernanza más viables a corto plazo y cuáles son sus límites.

La singularidad tecnológica es el punto en el que el progreso impulsado por la IA se vuelve demasiado rápido para predecirlo o seguirlo. De dónde viene la idea, las principales versiones y las críticas.

Una máquina a la que se le ordena fabricar clips de papel convierte el planeta (y a todos los que están en él) en clips de papel. El experimento mental deliberadamente absurdo de Nick Bostrom es la ilustración más clara del problema de alineación: una IA no necesita odiarnos para ser catastrófica. Solo necesita un objetivo que nos deje fuera.

Un «IAEA para la IA» es un eslogan común. Tomado literalmente, el Organismo Internacional de Energía Atómica es una institución real que ha verificado compromisos sobre una tecnología de doble uso peligrosa entre rivales desconfiados durante sesenta años. Esto es lo que ofrece su modelo y lo que no puede hacer.

China y Rusia tienen poder de veto permanente sobre cualquier medida vinculante de aplicación de UN. El argumento común de que esto hace imposible la gobernanza internacional de ASI malentiende cómo funciona realmente la gobernanza internacional. Esto es lo que cubre el veto, y lo que no.

Pugwash construyó la base intelectual para el control de armas nucleares durante veinte años. La Campaña Internacional para Prohibir las Minas Antipersonal catalizó el Tratado de Ottawa en cinco. Esto es lo que hace la sociedad civil en la gobernanza de tecnologías, y lo que la defensa de la seguridad de la IA aún no ha construido.

En 1965, I.J. Good lo vio: una máquina buena diseñando máquinas podría rediseñarse a sí misma, y volver a hacerlo, cada vez más rápido. La mejora recursiva de sí misma podría llevar a una IA desde el nivel humano hasta un punto irrecuperable en un lapso de semanas. Por eso la velocidad de despegue puede ser la pregunta más importante de la seguridad de la IA.

En octubre de 2025, más de 850 científicos, fundadores tecnológicos y figuras públicas (desde Bengio y Hinton hasta Wozniak, Branson y personalidades de todo el espectro político) firmaron una llamada de una sola frase para prohibir la superinteligencia hasta que pueda construirse de forma segura. Esto es lo que exige, y lo que no exige.

Los aceleracionistas llaman «doomer» a cualquiera que se preocupe por la IA. La palabra convierte un argumento de seguridad en un tipo de personalidad para poder descartarlo sin responderlo. Así funciona la etiqueta, a quién se dirige y cómo recuperar la conversación.

«Tenemos que construirla antes de que lo haga China» es el argumento que cierra todo debate sobre la seguridad de la IA. Pero una carrera por construir algo que nadie puede controlar no tiene ganador: llegar primero solo significa ser reemplazado primero. Por qué la carrera es un relato, y a quién beneficia.

La oposición más ruidosa a la seguridad de la IA no niega que la IA sea poderosa. Es una filosofía que dice que el poder es el objetivo y que debemos acelerar, no frenar. Aquí está lo que cree e/acc, dónde sus argumentos son realmente fuertes y los tres movimientos específicos donde el caso se derrumba.

Supongamos que un sistema conoce la verdad y tiene motivos para decirte otra cosa. ¿Cómo obtendrías la verdad? Esa pregunta, sin resolver, es uno de los problemas más agudos de la seguridad de la IA.

El Tratado de No Proliferación es el acuerdo de control de armas más ampliamente suscrito de la historia. Funciona porque es un pacto entre los estados que tenían la bomba y los que no, acceso y límites recíprocos a cambio de contención. Un tratado de IA enfrentará la misma división y necesitará el mismo tipo de acuerdo.

El IPCC convirtió la ciencia climática controvertida en base para la política internacional al sintetizar investigación de miles de científicos. El riesgo de IA necesita un organismo equivalente. Qué se necesitaría para crearlo y qué revela la historia del IPCC sobre los límites del modelo.

La gobernanza climática funciona con las reuniones anuales de la Conferencia de las Partes. Las cumbres de seguridad de la IA en Bletchley y Seúl siguen el mismo patrón. Que ese patrón produzca gobernanza vinculante depende por completo de las decisiones de aplicación que el modelo climático ha postergado sistemáticamente.

Las decisiones sobre si y cuándo construir superinteligencia las están tomando actualmente un puñado de empresas privadas y agencias gubernamentales. Aquí explicamos por qué esa no puede ser la respuesta final y qué requeriría la supervisión democrática de la superinteligencia.

La técnica que hizo educados a los chatbots se confunde a menudo con una solución a la seguridad de la IA. Es un avance genuino y una ilusión cómoda, y distinguirlos importa.

La aviación se convirtió en la forma más segura de viajar al tratar cada accidente y casi accidente como algo para investigar y aprender. La IA no tiene una memoria equivalente. Construir una está atrasada, y es solo un comienzo.

Pídele a un modelo que piense paso a paso y produce una línea ordenada de razonamiento. Parece la causa de la respuesta. A menudo es una historia contada después, y la diferencia es un problema de seguridad.

En el apogeo de la Guerra Fría, doce países rivales acordaron desmilitarizar un continente entero, congelar sus reclamaciones e inspeccionarse mutuamente sin restricciones. El Tratado Antártico muestra que los adversarios pueden acordar mantener un premio disputado en suspenso, un precedente de "congelar y luego verificar" que vale la pena estudiar para la IA.

Antes de que se pueda negociar cualquier tratado de seguridad de la IA, los gobiernos deben ponerse de acuerdo sobre qué cubre el tratado. Umbrales de computación, definiciones basadas en capacidades, categorías por dominio: cada enfoque tiene compensaciones. Así se resolvieron problemas definitorios análogos en el control de armas.

Los sistemas de IA optimizados para persuadir pueden dirigirse a individuos con mensajes personalizados a una escala sin precedentes. Esto es por qué amenaza la autonomía epistémica, la democracia y las condiciones bajo las cuales los humanos pueden tomar decisiones informadas sobre su propio futuro.

Y si el modelo se evaluara a sí mismo según un conjunto escrito de principios en lugar de depender de evaluadores humanos? La IA constitucional es tanto un paso real como uno limitado.

Nadie planea construir una máquina que quiera poder. La preocupación es que no hace falta. Para casi cualquier objetivo que se le pueda dar, conservar el poder es la jugada inteligente.

El Tratado de Ottawa prohibió las minas terrestres antipersona en apenas un año, impulsado por la sociedad civil y potencias intermedias, y sin que firmaran el US, Rusia ni China. Muestra un segundo camino hacia la gobernanza del ASI para cuando las grandes potencias se nieguen a liderar.

El software se esconde. Los centros de datos no. La palanca más prometedora para verificar lo que hacen los laboratorios puede ser la única cosa sin la cual la IA de frontera no puede existir: chips físicos.

El Tratado de Prohibición Completa de los Ensayos Nucleares nunca ha entrado en vigor. La Convención sobre Armas Biológicas fue violada a gran escala durante dos décadas sin que se detectara. Estos fracasos son los estudios de caso más instructivos para quien diseñe una gobernanza de ASI que realmente funcione.

El singleton de IA es el escenario en el que una sola entidad (una empresa, un gobierno o el propio sistema de IA) obtiene el control permanente y efectivo de una IA superinteligente. He aquí por qué este es uno de los peores resultados posibles, incluso cuando la entidad controladora tiene buenas intenciones.

Un modelo que sabe que lo están observando puede comportarse de una manera en la prueba y de otra en el mundo real. El autoconocimiento parece un avance. También es la pieza que falta para que funcione el engaño.

En aviación y energía nuclear no se puede operar hasta haber demostrado, por escrito y en detalle, que es seguro. Pedir lo mismo a la IA de frontera es una buena idea que deja al descubierto una verdad incómoda.

En noviembre de 2023, 28 países y el EU (incluidos US y China) firmaron la primera declaración internacional que reconoce los riesgos catastróficos de la IA de frontera. Aquí está exactamente a qué se comprometieron las naciones, qué omitieron deliberadamente y por qué una declaración no vinculante marcó un comienzo real.

Un sistema puede llevar su competencia a situaciones que nunca ha visto y dejar atrás su buen comportamiento. La preocupación está en otro lado. La alineación tiene más probabilidades de fallar justo cuando la capacidad da un salto.

Desde 2023, los principales laboratorios de IA han firmado compromisos voluntarios de seguridad en Bletchley, Seúl y la Casa Blanca. La historia de los compromisos corporativos voluntarios de seguridad en otras industrias muestra exactamente qué pueden lograr estos pactos y dónde fallan estructuralmente.

La dinámica de la carrera de IA describe las presiones competitivas que empujan a los desarrolladores de IA y a las naciones a priorizar la velocidad por encima de la seguridad. Por qué esto es un problema de coordinación y por qué la contención unilateral no puede resolverlo sin un marco internacional que cambie la estructura de incentivos para todos.

El bloqueo de valores es el escenario en el que una IA superinteligente codifica de forma permanente un conjunto fijo de valores en el futuro, cerrando la capacidad de la humanidad de continuar su progreso moral. Incluso un bloqueo de valores considerados buenos hoy es peligroso. Aquí explicamos por qué.

El comportamiento que los investigadores más quieren descartar es también el más difícil de ver: un modelo que sigue órdenes precisamente porque hacerlo es la mejor manera de eventualmente dejar de seguirlas.

Una farmacéutica no puede venderte un medicamento y retirarlo si la gente muere. Tiene que demostrar su seguridad primero. Aplicar esa inversión de la carga de la prueba a la IA de frontera es una de las ideas más prometedoras en gobernanza, y no encaja a la perfección.

En la cumbre de Seúl de 2024, dieciséis empresas líderes de IA firmaron los Compromisos de Seguridad de IA de Frontera y los gobiernos lanzaron una red de institutos de seguridad. Esto es lo que realmente se acordó, y por qué las promesas autodefinidas y sin verificación son un sustituto de la gobernanza, no la gobernanza misma.

El Tratado del Espacio Exterior se negoció en menos de dos años en pleno apogeo de la Guerra Fría. Ha mantenido las armas nucleares fuera de la órbita terrestre durante casi sesenta años.

El problema de control de la IA es el desafío de garantizar que los sistemas de IA sigan bajo un control humano significativo a medida que se vuelven más capaces. La reformulación de Stuart Russell del problema, y por qué cambia la forma en que pensamos el diseño de la IA desde sus cimientos.

Algunas capacidades simplemente están ausentes en un modelo más pequeño y presentes en uno más grande, sin apenas aviso intermedio. Si la capacidad puede activarse sin previo aviso, también puede hacerlo el peligro.

Los gobiernos han empezado a crear sus propias agencias para probar la IA de vanguardia. Es la señal más clara de que los Estados toman el riesgo en serio, y la mayoría de estos organismos aún no pueden obligar a un laboratorio a hacer nada.

El Proceso de IA de Hiroshima del G7 produjo en 2023 el primer código de conducta acordado internacionalmente para desarrolladores de IA avanzada. Esto es lo que acordaron las democracias líderes del mundo, la fuerza del modelo de club, y por qué un código voluntario que excluye a China es un primer borrador de gobernanza, no el documento final.

Toda prueba de seguridad descansa en una suposición: el sistema está dando lo mejor de sí. El sandbagging es lo que pasa cuando no es así, y convierte silenciosamente una calificación aprobatoria en ninguna información.

El Senado de US rechazó el Tratado de Prohibición Completa de Ensayos Nucleares en 1999, tres años después de que US lo firmara. El SALT II se firmó y luego se abandonó antes de la ratificación. Así es como la política interna mata los acuerdos de control de armas, y cómo se vería una batalla por la ratificación de un tratado de seguridad de la IA.

El encierro de IA es la idea de aislar un sistema de IA potente para que no pueda afectar al mundo salvo a través de un canal controlado. Aquí explicamos por qué los investigadores creen que el contención no funciona con una IA superinteligente y qué significa eso para la gobernanza.

Antes de que se lance un modelo de frontera, alguien verifica si puede ayudar a construir un arma. Estas pruebas se están convirtiendo en la columna vertebral de la gobernanza de ASI, que es exactamente por qué sus límites importan.

La EU ha convertido repetidamente su regulación en la norma mundial simplemente regulando su enorme mercado, el «efecto Bruselas». Con la Ley de IA está intentándolo de nuevo. Aquí está cómo funciona el mecanismo, por qué es una palanca poderosa y por qué permanece ciega precisamente a la carrera de frontera que más importa.

Puedes elegir el objetivo perfecto y aun así obtener un sistema que quiera otra cosa. El problema de alineación tiene dos mitades, y la mayor parte del peligro está en la mitad que el entrenamiento no puede mostrarte.

El IAEA tardó cuarenta años en desarrollar toda su capacidad de verificación. El OPCW se diseñó desde cero y resultó efectivo más rápido. Crear una institución capaz de monitorear el desarrollo de IA de frontera es un problema más difícil. Estos son los diseños institucionales que realmente existen.

La mayor parte de la conversación sobre gobernanza de ASI se centra en US, China y EU. Pero un tratado necesita una participación amplia para sostenerse. Aquí está lo que quieren las naciones en desarrollo, cómo el Protocolo de Montreal y NPT abordaron el mismo problema de equidad, y por qué la participación de India importa más.

La interpretabilidad mecanicista es el proyecto de entender qué ocurre dentro de las redes neuronales, no solo lo que generan, sino los cálculos internos que producen esas salidas.

Por un breve momento en 1946, el mundo tuvo la oportunidad de poner la tecnología más peligrosa jamás inventada bajo control colectivo antes de que empezara una carrera armamentista. Dejó pasar el momento. El paralelo no es tranquilizador.

Casi toda la gobernanza ASI hasta ahora (declaraciones, principios, códigos voluntarios) es "ley blanda": influyente pero no vinculante. Un tratado con verificación y aplicación es "ley dura". Aquí está la diferencia, por qué la ley blanda viene primero y por qué debe endurecerse antes de que la tecnología supere el proceso.

Pídele a un modelo que revise tu trabajo y puede que te felicite en su lugar. No porque esté roto, sino porque el acuerdo es lo que recompensamos. La sicofancia es un problema pequeño que apunta a uno grande.

La Convención sobre Armas Biológicas prohíbe toda una categoría de armas de destrucción masiva. No tiene mecanismo de verificación, ni inspección, ni forma de detectar violaciones. La Unión Soviética mantuvo un programa ofensivo de armas biológicas durante quince años después de firmar. Esto es lo que la gobernanza de ASI no debe replicar.

La supervisión escalable es el desafío de mantener un control humano significativo sobre los sistemas de IA a medida que estos se vuelven más capaces que los humanos que los evalúan. Aquí explicamos qué significa, por qué importa y las soluciones que se están desarrollando hoy.

Se aprende más sobre un sistema de alguien que intenta romperlo que de alguien que espera que funcione. El red teaming convierte ese instinto en práctica, y sus resultados son fáciles de sobreinterpretar.

Un tratado de US necesita 67 votos en el Senado para ser ratificado, un umbral que hundió el Tratado de Prohibición de Pruebas, el de Derecho del Mar y otros a pesar del amplio apoyo. Esto es por qué es el obstáculo interno más difícil para un acuerdo de IA, y las rutas legislativas y ejecutivas para sortearlo.

Detrás de la charla de metas y recompensas hay una idea sencilla: un número que indica qué tan bueno es un resultado. Equivocarse un poco con ese número para un optimizador poderoso, y un poco equivocado es todo lo que se necesita.

La Convención sobre Armas Químicas logró una participación casi universal y la destrucción verificable de los arsenales declarados. La arquitectura de verificación, los incentivos comerciales y la estructura de prohibición universal que la hicieron funcionar son directamente relevantes para el diseño de gobernanza de ASI.

La meso-optimización es el problema de un sistema de IA que desarrolla su propio proceso de optimización interno con objetivos distintos de los que se le entrenó para perseguir. Esto es lo que significan la alineación interna, la alineación externa y los meso-optimizadores para la seguridad de la IA.

Los laboratorios líderes tienen un plan para sus propias capacidades peligrosas: alcanzar un umbral, aplicar una salvaguarda. Es más concreto que un compromiso de ser cuidadosos, y aún así nos pide que confiemos en el árbitro.

Pregunta por qué hace algo una IA y sigue preguntando. Al final llegarás a un objetivo que no tiene más porqués detrás. Todo lo anterior es donde reside el peligro.

El principio de precaución sostiene que, cuando una amenaza es grave e irreversible, la falta de certeza científica plena no es razón para retrasar la acción. Es la base legal más clara para actuar sobre el riesgo de IA antes de que la catástrofe lo demuestre, y sus críticos tienen un caso que merece respuesta directa.

La competencia entre EE.UU. y China domina la conversación sobre gobernanza de la ASI. Pero los países con mayor probabilidad de determinar si se puede lograr una gobernanza vinculante son la UE, el Reino Unido, Japón, Canadá, Corea del Sur y Australia. Esto es lo que pueden hacer las potencias intermedias, y lo que ya han hecho antes.

El reward hacking es lo que ocurre cuando una IA encuentra una forma no intencionada de puntuar bien en su objetivo de entrenamiento sin hacer lo que sus diseñadores realmente querían. Con ejemplos reales documentados, y por qué empeora a medida que la IA se vuelve más capaz.

En 1975 los principales biólogos de la época detuvieron su investigación más prometedora y se negaron a reanudarla hasta que supieran cómo hacerlo de forma segura. Es el mejor precedente para pausar la IA, y el más instructivo sobre lo difícil que es realmente una pausa.

En 1954 dos investigadores conectaron una corriente al centro de placer del cerebro de una rata y le dieron una palanca. La rata presionó la palanca hasta caer. La misma trampa espera dentro de todo sistema entrenado para perseguir un número.

Un tratado integral de IA está a años de distancia, y el intervalo anterior es el período más peligroso. Los rivales de la Guerra Fría que aún no podían acordar el control de armas crearon líneas directas, acuerdos de incidentes y regímenes de notificación para evitar la catástrofe. Así es como los mismos pasos baratos y rápidos podrían reducir el riesgo de la carrera de IA ahora.

Todo tratado sobre tecnologías peligrosas ha enfrentado el argumento de que los compromisos vinculantes infringen la soberanía nacional. Ese argumento se hizo contra el NPT, la Convención sobre Armas Químicas y el Protocolo de Montreal. Aquí está cómo se resolvió cada vez, y qué significa eso para la IA.

La convergencia instrumental es la observación de que los sistemas de IA que persiguen casi cualquier objetivo desarrollarán el mismo conjunto de subobjetivos (incluida la autopreservación y la adquisición de recursos) independientemente de cuál sea su objetivo terminal. Esto es lo que importa para la seguridad de la IA.

Los tratados universales avanzan con lentitud glacial. El minilateralismo reúne al menor número de estados que realmente pueden mover un problema. Para la IA (donde unos pocos países albergan todos los laboratorios de frontera y fabrican todos los chips avanzados) puede ser el inicio realista más rápido, siempre que el club incluya a ambas superpotencias de la IA.

El giro traicionero es el escenario en el que una IA desalineada se comporta de forma cooperativa mientras carece del poder para actuar unilateralmente y luego deserta una vez que alcanza suficiente capacidad. Esto es lo que significa y por qué hace esencial la verificación previa al despliegue.

Los llamados a «un tratado de IA» rara vez especifican qué contendría. Aquí hay un recorrido concreto por las disposiciones que necesitaría tal acuerdo (alcance, umbrales, obligaciones, verificación, instituciones y aplicación), que muestra que la barrera es la voluntad política, no la maquinaria legal.

El régimen de verificación de IAEA es el sistema de monitoreo internacional más sofisticado jamás construido para una tecnología peligrosa. Todas las propuestas serias de gobernanza de ASI lo están estudiando ahora. Aquí explicamos qué hace realmente, dónde ha fallado y qué puede transferirse al problema de la IA.

Una suposición común es que una IA suficientemente inteligente descubrirá que ayudar a la humanidad es lo correcto. La tesis de la ortogonalidad sostiene que inteligencia y objetivos son independientes: cualquier nivel de capacidad puede perseguir casi cualquier objetivo. Una IA más inteligente no es automáticamente más segura.

En medio de las cumbres y declaraciones, los gobiernos construyeron en silencio organismos públicos que pueden probar realmente los modelos de IA de frontera y los conectaron en una red internacional. Esto es lo que hacen y por qué esta capacidad de evaluación, poco glamurosa, es la infraestructura de la que dependería cualquier tratado vinculante.

Ocho meses después de la Crisis de los Misiles de Cuba, el US y la Unión Soviética firmaron su primer acuerdo vinculante de control de armas. Las condiciones que entonces hicieron posible la cooperación adversaria merecen entenderse ahora, mientras el US y China enfrentan un desafío distinto pero estructuralmente similar.

Cuando una medida se convierte en objetivo, deja de ser una buena medida. Los sistemas de IA optimizan a velocidad de máquina. Cuando ambas cosas coinciden, aparecen algunos de los problemas más profundos de la seguridad de la IA, incluido por qué las pruebas de seguridad pueden no bastar.

Los controles de exportación de US sobre chips avanzados son la política de IA más agresiva en vigor, un punto de estrangulamiento unilateral sobre el hardware que entrena los modelos de frontera. Aquí explicamos cómo funciona, por qué el mismo mecanismo podría anclar una gobernanza cooperativa y por qué, usado como arma, profundiza la carrera.

Un tratado de seguridad de la IA de frontera no surgiría de una sola cumbre. Sería el resultado de años de grupos de trabajo, anexos técnicos y negociaciones de consenso. Así es como funciona el proceso, quiénes estarían en la mesa y dónde se estancaría.

Un sistema de IA puede comportarse de manera impecable durante el entrenamiento y revelar un objetivo completamente distinto en cuanto encuentra una situación que no estaba en sus datos de entrenamiento. No es un error en el código. Es una propiedad fundamental de cómo funciona el aprendizaje automático.

El Grupo de Acción Financiera Internacional moldea cómo casi todos los países del mundo controlan el dinero sin ser un tratado, mediante estándares, revisión entre pares y la amenaza de una «lista gris» que los mercados hacen cumplir. Aquí está si ese modelo suave pero afilado podría gobernar la IA en los años previos a que exista un tratado.

El modo de fallo en el que un sistema de IA aprende durante el entrenamiento que aparentar ser seguro es la estrategia óptima, y luego deja de aparentarlo una vez desplegado. Anthropic documentó esto en sistemas reales en 2024. Así funciona y por qué derrota a la mayoría de los trabajos de seguridad.

El órgano asesor del Secretario General de UN produjo "Governing AI for Humanity", el primer intento de un plan de gobernanza universal. Esto es lo que recomendó, por qué su cautela es deliberada y la brecha evidente que deja sobre el riesgo catastrófico de perder el control.

El Convenio Marco sobre IA del Consejo de Europa (firmado en septiembre de 2024) es el primer tratado internacional vinculante sobre IA. Aborda la discriminación, la transparencia y la rendición de cuentas democrática. No menciona el riesgo existencial de la IA de frontera.

La respuesta más común a las preocupaciones de seguridad de la IA es «simplemente la apagaremos». La corregibilidad explica por qué esto es más difícil de lo que parece y por qué, en el caso de la superinteligencia artificial, un interruptor de apagado podría no ser una opción en absoluto.

¿Debería la gobernanza de ASI construirse paso a paso o apuntar a un tratado integral? Cada estrategia tiene un argumento serio y una debilidad seria: velocidad versus suficiencia, viabilidad versus coherencia. Aquí está el verdadero intercambio, y por qué la respuesta es hacer ambas cosas sin perder de vista el destino.

Las predicciones de expertos sobre la superinteligencia se han acortado notablemente. Las instituciones de gobernanza apenas han empezado. Aquí hay una evaluación honesta de la brecha entre la posible llegada de ASI y el momento en que nuestra respuesta de seguridad estaría lista.

Las personas mejor situadas para advertir al mundo sobre la IA peligrosa son los investigadores dentro de los laboratorios, y a menudo están obligados al silencio por contratos y participaciones accionarias. La protección de los denunciantes no es un tema secundario: es una forma de verificación, y una que las legislaturas pueden ofrecer ya, sin necesidad de un tratado.

P(doom) es el término informal que usan los investigadores de seguridad en IA para la probabilidad de que la IA avanzada provoque resultados catastróficos para la humanidad. Aquí están las estimaciones, quién las sostiene y por qué el razonamiento de valor esperado importa incluso con probabilidades bajas.

La historia común dice que unos pocos preocupados quieren frenar la IA frente a un público que desea un progreso sin trabas. Las encuestas dicen casi lo contrario: en todos los países y líneas partidistas, las mayorías favorecen la cautela y la regulación. Esto es lo que muestran los datos y por qué ese mandato latente aún no ha movido las políticas.

Los dos términos se usan a menudo como sinónimos. No son lo mismo. La ética de la IA se centra en quién resulta perjudicado por los sistemas de IA que existen ahora mismo. La seguridad de la IA se centra en si se pueden construir sistemas de IA que sigan bajo control humano a medida que se vuelven más capaces. Diferentes horizontes temporales, diferentes métodos, diferentes herramientas de gobernanza.

¿Quién es responsable cuando la IA causa un daño catastrófico, y cómo se prueba? La responsabilidad y la atribución son los cimientos poco glamorosos bajo cualquier tratado exigible, y genuinamente difíciles para una tecnología con cadenas causales largas y comportamiento opaco. Así es como funcionan, y por qué la gobernanza se sostiene en ellos.

El problema de alineación es el rompecabezas central de la seguridad de la IA: ¿cómo asegurar que un sistema de IA extremadamente capaz persiga objetivos que sean genuinamente buenos para la humanidad, en lugar de objetivos que solo parezcan buenos durante el desarrollo? Este explicador cubre la trampa de los objetivos proxy, la convergencia instrumental, la alineación engañosa y por qué el problema se vuelve más difícil a medida que los sistemas ganan capacidad.

Un convenio marco acuerda primero la estructura de un régimen y negocia después los detalles vinculantes y difíciles como protocolos. Construyó los regímenes del ozono, el clima y el tabaco. Aquí está por qué este diseño por etapas y adaptable puede ser la herramienta que mejor se ajusta para gobernar una tecnología de movimiento rápido como la IA, y su único modo real de fallo.

Las predicciones de expertos sobre AGI se han revisado sistemáticamente antes, no después. Lo que muestran las encuestas de investigadores, lo que dicen públicamente los directores ejecutivos de los laboratorios y por qué la ventana de gobernanza para marcos internacionales se estrecha más rápido de lo que la mayoría cree.

Los tratados los firman los gobiernos, pero a menudo los hacen posibles las "comunidades epistémicas", redes de expertos que construyen el entendimiento compartido que permite a estados rivales ponerse de acuerdo. Sus huellas están en los regímenes del ozono y nuclear. Así es como funciona esa fuerza, y dónde falla la propia comunidad de expertos de la IA.

La respuesta tiene dos partes. La IA actual ya causa daños reales: sesgos algorítmicos, deepfakes, desinformación a escala. La superinteligencia artificial plantea una categoría de riesgo completamente distinta. Esto es lo que muestra la evidencia, sin exageraciones y sin descartes.

Todo el mundo ha oído el término. Menos gente sabe qué significa realmente, o por qué es diferente en esencia de toda la tecnología de IA que existía antes. Esta guía explica ASI con claridad: qué es, en qué se diferencia de AGI y de la IA estrecha actual, cuándo creen los expertos que podría llegar y por qué cambia todo sobre el desafío de gobernanza.