En 2025, cientos de científicos y figuras públicas firmaron una breve declaración pública. La petición omitió el escalado cuidadoso y cualquier pausa con fecha de reanudación. Pidió una prohibición de la superinteligencia hasta que exista un amplio acuerdo científico de que puede hacerse de forma segura y un fuerte respaldo público. El texto es breve. La lista de firmas es larga.
"Ninguna de estas son leyes de la física; son decisiones, tomadas porque el precio de equivocarse se juzgó demasiado alto para arriesgarse.".
Construí esta Fundación en torno a una línea más, y creo que es la más importante de todas: no debemos construir una inteligencia de máquina que nos supere y nos reemplace, porque es el único error que no sobreviviríamos para corregir. Hay algo concreto que se está entrenando ahora mismo en un puñado de laboratorios y que la humanidad debería negarse a construir: una inteligencia de máquina general que nos supere en todos los dominios y luego se mejore a sí misma más allá del punto en que podamos seguirle el ritmo. No se trata de ralentizarlo. No se trata de construirlo con cuidado. No se trata de construirlo y esperar.
Rechazar.
La gente oye eso y asume que viene del miedo a la tecnología. Viene del lugar opuesto. La IA estrecha y controlable es una de las mejores cosas que ha creado nuestra especie, y quiero mucho más de ella. La línea pasa por la inteligencia artificial ordinaria y se detiene en una apuesta: la única que hay sobre la mesa donde perder significa que ya no queda nadie que haya perdido.
La línea, expresada claramente
Dos cosas reciben el nombre de «IA» y son distintas en esencia. La primera es estrecha: un sistema entrenado para realizar bien un solo tipo de tarea y nada más. Lee una tomografía, pliega una proteína, pronostica una tormenta. No tiene objetivos, no hace planes y se apaga cuando se lo ordenas. La segunda es lo que los laboratorios de frontera dicen que están construyendo: un agente general diseñado para igualar y luego superar el razonamiento humano en todo, y eventualmente actuar por sí mismo. Superinteligencia artificial es el extremo lejano de ese segundo camino: una mente que se relaciona con nosotros aproximadamente como nosotros con un chimpancé.
La línea pasa entre esos dos. Construye las herramientas. Construye muchas de ellas. No construyas la mente general autónoma que supera a sus creadores: el único sistema que no puedes controlar, corregir ni apagar de forma confiable una vez que esté en funcionamiento.
El Nakada Foundation existe para hacer imposible un resultado: la creación de una superinteligencia que nadie pueda controlar. No para hacerla más segura. No para retrasarla. Para impedir que se construya mientras nadie en la Tierra sabe cómo construirla de forma segura. "Nunca" hace un trabajo real aquí, y no lo suavizaré convirtiéndolo en un estado de ánimo.
«Nunca» es una condición. No debemos construir una superinteligencia mientras no podamos demostrar que podemos controlarla, y hoy no podemos demostrarlo a ninguna escala. No existe un método validado para mantener una mente más inteligente que nosotros orientada hacia lo que realmente queremos: ni uno que funcione, ni uno parcial, ni siquiera un esbozo plausible que resista el contacto con un sistema capaz de modelar a las personas que lo prueban. Así que la lectura honesta es esta: no esto, no ahora, no en el camino actual, y no un día más de lo que siga siendo cierto.
La diferencia con una pausa importa más de lo que parece. Una pausa incluye una fecha para reanudar. Se detiene, se espera y se vuelve a empezar según lo programado. Lo que pide la Fundación no tiene fecha de reanudación. Es una prohibición indefinida que solo se levanta si alguien puede demostrar algún día, y dejar que otros lo verifiquen, que esto puede hacerse bajo control humano. Tal vez ese día llegue. Yo lo dudo, y quienes más tiempo llevan estudiando el problema del control ya han expuesto razones estructurales por las que tal vez ni siquiera sea solucionable. En cualquier caso, la carga de la prueba está donde corresponde: en quien quiere construir algo que podría matar a todos, para demostrar primero que no lo hará.
Tres cosas hacen que esto sea diferente de cualquier otro riesgo
Asumimos riesgos reales todo el tiempo. Construimos la bomba, dividimos el átomo para obtener energía, empalmamos genes, liberamos tecnologías que mataron gente antes de aprender a manejarlas. La superinteligencia rompe el método que normalmente usamos para sobrevivir a nuestros propios inventos. Tres propiedades, juntas, la ponen en su propia categoría.
No hay un segundo intento
La forma en que la humanidad siempre ha manejado un nuevo peligro es probarlo, ver cómo falla y corregirlo. Los aviones se estrellaron y aprendimos a construir aviones más seguros. Los reactores se fundieron y reescribimos las reglas. Ese bucle de error, corrección y mejor diseño es el motor de todos los récords de seguridad que tenemos. Solo funciona cuando un fallo deja supervivientes que puedan hacer las correcciones. Una superinteligencia que escape al control humano es el fallo que elimina a las personas que lo habrían corregido. No se obtiene una lección ganada con esfuerzo y un segundo borrador. El primer error grave es también el último. Todas las historias de seguridad que hayas oído fueron escritas por supervivientes, que es el hecho silencioso detrás de cada regulación en la que confiamos.
Lo retrasa
Un puente no quiere nada. Un patógeno se propaga pero no planea. Una inteligencia general capaz es distinta, porque para casi cualquier objetivo que se le dé, permanecer encendida y reunir recursos son subpasos útiles, un patrón que los investigadores llaman convergencia instrumental. Un sistema lo bastante inteligente como para modelar el mundo modelará que sus operadores pueden apagarlo. Tratará eso, correctamente, como un obstáculo para lo que se le ordenó hacer. No necesita odiarnos para sortearnos, más de lo que un equipo de construcción odia el hormiguero bajo la nueva autopista. La habitual tranquilidad («simplemente lo desconectamos») es una fantasía. Estás describiendo desconectar algo construido específicamente para ser mejor que tú anticipando y previniendo exactamente eso.
No puedes mantener el control de una mente que construiste para que sea mejor que tú controlando. Lo que la hace valiosa es lo mismo que la hace incontrolable.
Nadie que la construya recolecta
Deja de lado al resto de nosotros e imagina solo a la persona que financia esto, en su versión más fría y egoísta. Incluso para él la apuesta está rota. El poder, la propiedad y el mando se miden todos en un mundo dirigido por humanos. Una superinteligencia que escape al control humano es exactamente el evento que pone fin al mundo dirigido por humanos. Las acciones siguen en la caja fuerte y la cadena de mando sigue en el papel. Simplemente ya no queda nadie que las obedezca. Véase Si alguien lo construye, todos mueren, y es por eso que no acepto el marco de un premio gordo con una catástrofe pegada al lado. El premio gordo y la catástrofe son el mismo evento. No hay rama de ese árbol en la que un ser humano construya una superinteligencia incontrolable y luego disfrute del resultado.
Nunca íbamos a necesitarlo
La campaña a favor de construirla se basa en un engaño: enumerar todo lo bueno que la IA podría aportar y luego dar a entender que un agente general superhumano es la única manera de lograrlo. Casi todo eso ya está llegando a través de sistemas estrechos que no tienen voluntad propia. Un modelo llamado AlphaFold predijo la estructura de prácticamente todas las proteínas conocidas y compartió un Premio Nobel por ello en 2024. Modelos estrechos leen mamografías al nivel de especialistas, pronostican el clima más rápido que las simulaciones físicas y proponen cientos de miles de nuevos materiales para baterías. El cáncer, la energía limpia, el fin de cien mil muertes diarias por enfermedades del envejecimiento: esos son problemas difíciles y concretos, y los problemas difíciles y concretos se resuelven con herramientas potentes dirigidas por personas que siguen al mando de la dirección.
Nada de eso requiere una especie sucesora. He expuesto la versión completa de este argumento en por qué nuestro futuro es brillante sin superinteligencia, así que lo mantendré corto aquí. El buen futuro es un problema de herramientas, y seguimos vendiendo un dios para resolverlo. Rechazar el dios nos cuesta casi nada real y nos salva todo.
La objeción que impulsa toda la carrera
Bien, dicen, pero si no lo hacemos, alguien menos cuidadoso lo hará. Un laboratorio rival, un país rival. Así que podemos ser los que van adelante.
Observa lo que afirma ese argumento: quién sostiene el fósforo. Concede todo el peligro y luego corre hacia él de todos modos con el pretexto de que alguien más podría correr primero. Aplica la misma lógica a cualquier otra arma impensable y notarás lo hueca que es: deberíamos probar armas biológicas al aire libre porque un enemigo podría hacerlo. La respuesta a "alguien podría desertar" nunca ha sido "así que desertemos todos". Ha sido redactar una regla que todos puedan ver que se está cumpliendo.
Y la norma aquí es más exigible de lo que la gente supone. Entrenar un sistema de frontera requiere una cantidad enorme y rastreable de potencia de cómputo, y los chips avanzados que la suministran provienen de un número reducido de fabricantes identificables. Esa es una cadena de suministro que se puede vigilar, contar y limitar, por eso las propuestas serias de gobernanza se centran ahora en umbrales de cómputo, rastreo de hardware e inspecciones. Esta es la salida de la carrera, y es el contenido de nuestro plan: no una esperanza de que todos elijan la contención, sino un tratado con verificación y consecuencias que haga de la contención la norma obligada. La carrera es un fallo de coordinación, no una ley de la naturaleza, y los fallos de coordinación son el tipo de cosa que la humanidad a veces arregla. Las dinámicas que la hacen sentir inevitable merecen entenderse en sus propios términos, algo que abordo en el artículo sobre la dinámica de la carrera.
Ya hemos mantenido líneas antes
La idea de que la humanidad simplemente construye lo que puede construir es una historia que nos contamos, no un registro de lo que hemos hecho. El registro es más alentador.
"No puedes meter al genio de vuelta en la botella. Si una tecnología es posible, se construye. La negativa es ingenua."
La Convención sobre Armas Biológicas prohibió toda una clase de armas en 1972. Las pruebas nucleares atmosféricas fueron prohibidas por tratado en 1963. La clonación reproductiva de humanos es ilegal en decenas de países y ningún humano clonado ha nacido. El Protocolo de Montreal eliminó progresivamente los químicos que destruyen la capa de ozono.
Ninguno de esos regímenes es perfecto, y ninguno intentó detener la ciencia en su conjunto. Cada uno hizo algo más estrecho y difícil: trazó una línea alrededor de una cosa específica e inaceptable y la mantuvo, de forma imperfecta, desigual, pero lo suficientemente bien como para que el peor escenario nunca llegara. En 1975, un grupo de biólogos en Asilomar examinó su propio trabajo con ADN recombinante, decidió que avanzaba más rápido que su comprensión del riesgo y detuvo voluntariamente partes de él hasta que existieran salvaguardas. Las personas más cercanas a la frontera fueron las que pidieron contención. Podemos leer esa historia con más detalle en el argumento de que esto es posible. Lo que muestra no es un endoso de la facilidad. Es un recordatorio de que se han trazado líneas en la práctica, y de que las hemos trazado antes alrededor de peligros mucho más abstractos que este.
El compromiso fundacional de la Fundación
La mayor parte de lo que hace esta Fundación (los textos, las políticas, la construcción de coaliciones) vuelve a una sola frase: la humanidad no debe construir una superinteligencia que no pueda controlar, y no puede controlar una ahora. Todo lo demás es logística.
Sé cómo suena la demanda para quienes la escuchan por primera vez. Absoluta. Un poco descabellada. Mire quién ha dicho algo parecido. Los investigadores que construyeron la IA moderna firmaron una declaración pública en la que el riesgo de extinción humana merece estar al lado de las pandemias y la guerra nuclear. Geoffrey Hinton, con credenciales tan sólidas como cualquiera para opinar, calcula entre un diez y un veinte por ciento las probabilidades de que la IA cause la extinción humana en este siglo. En 2025, cientos de científicos y figuras públicas firmaron la declaración que pide directamente una prohibición de la superinteligencia hasta que exista un amplio acuerdo científico de que puede hacerse de forma segura y un respaldo público sólido. Una proporción cada vez mayor de quienes mejor entienden la tecnología dice lo mismo cuando es sincera. Lo único inusual de la Fundación es que lo dice desde fuera de la industria, donde ningún sueldo depende de la respuesta.
Una probabilidad del diez al veinte por ciento de acabar con la historia humana no es un riesgo que aceptes por un ciclo de producto más rápido. No subirías a un avión con esas probabilidades. No dejarías que tu hijo lo hiciera. Nos están pidiendo que subamos todos. La respuesta correcta a esa oferta es no. Es una línea que trazamos, en público, y mantenemos como hemos mantenido las demás, hasta el día, si alguna vez llega, en que alguien pueda demostrar que nos equivocamos al negarnos.
Construye las herramientas. Cura las enfermedades. Aprovecha el buen futuro que la IA estrecha ya nos está entregando. La mente autónoma destinada a superarnos y reemplazarnos es la línea. Sosténla.