Es un ejercicio incómodo, catástrofes de clasificación. Cada uno de estos podría matar en una escala que hace que la palabra "desastre" se sienta pequeña, y ponerlos en orden puede sonar como una afirmación que los inferiores no importan. La guerra nuclear y las pandemias diseñadas están entre las peores cosas que nos pueden pasar, y la gente que trabaja para prevenirlas está haciendo algo de la obra más importante que hay.

Ordénelos con honestidad y la superinteligencia queda en primer lugar, no porque las demás sean pequeñas, sino porque es la única de las tres que mejora por sí misma, resiste todas las contramedidas que levantemos y no ofrece una segunda oportunidad.

Pero la atención y el dinero son finitos, y el mundo no los reparte por igual entre todas las amenazas. Alguien decide qué recibe un tratado, una agencia, una partida presupuestaria, un movimiento. Si esas decisiones van a reflejar el peligro real y no el que nos resulta más fácil de imaginar, hay que hacer la clasificación y hacerla en voz alta. Entonces: de las tecnologías que podrían acabar con la humanidad este siglo, ¿cuál es la mayor? La respuesta es la superinteligencia, y no está ni cerca.

Qué debe significar "greatest"

Un riesgo no es solo lo malo que es el peor caso. Un meteorito que vaporizaría el planeta pero tiene una probabilidad entre un billón de llegar es un riesgo menor que un incendio que tiene una probabilidad del cincuenta por ciento de quemar tu casa, aunque el incendio no pueda acabar con el mundo. Para comparar estos tres con honestidad hay que sostener tres preguntas a la vez.

¿Qué tan malo es el peor resultado realista? ¿Qué tan probable es ese resultado en un periodo de tiempo significativo? Y (la pregunta que casi siempre se omite) si las cosas empiezan a ir mal, ¿aún podemos detenerlo? Esta última es la que más importa y donde las tres posturas se separan.

El intento más cuidadoso que alguien ha hecho para poner números a esto es el del filósofo Toby Ord El precipicio, publicado en 2020, que estima la probabilidad de que cada riesgo provoque una catástrofe existencial (extinción o un colapso del que nunca nos recuperemos) en los próximos cien años. Sus cifras son el juicio disciplinado de alguien que pasó años leyendo la literatura y hablando con especialistas de cada campo, no mediciones; nadie puede medir algo que nunca ha ocurrido. Son la mejor estimación estructurada que tenemos y lo que importa es su forma.

Riesgo Estimaciones de Ord
Guerra nuclearCatastrófico casi más allá de lo imaginable, pero (incluso en un intercambio completo y el invierno que sigue) la mayoría de las estimaciones se quedan cortas de la extinción humana literal. ~1 en 1.000
Pandemias diseñadasUn patógeno construido deliberadamente para letalidad y propagación es mucho más difícil de contener que cualquier brote natural, y las herramientas para construir uno siguen abaratándose. ~1 en 30
Inteligencia artificial no alineadaEl riesgo individual más grande en el cálculo de Ord, mayor que todos los peligros naturales y los demás creados por el ser humano en su lista combinados. ~1 en 10

La guerra nuclear, el peligro que ha moldeado toda la imaginación moderna del apocalipsis, ronda una entre mil. Las pandemias diseñadas, una amenaza que la mayoría ha considerado en serio solo desde 2020, superan esa cifra más de treinta veces. Y la IA desalineada se sitúa un orden de magnitud por encima de eso, alrededor de uno en diez, y según el cálculo de Ord mayor que todo lo demás en la lista junto. El riesgo para el que estamos menos preparados para hablar es el que sus números colocan primero por un amplio margen.

Armas nucleares: enormes, y casi en su techo

Empecemos por lo que mejor entendemos. Hoy existen alrededor de doce mil ojivas nucleares, la mayoría en manos de Estados Unidos y Rusia. Un intercambio total mataría a cientos de millones en las primeras horas y, a través del humo y el enfriamiento que describe un estudio moderno en Nature Food estimado podría seguir, pondría a miles de millones más en riesgo de inanición. Es lo más cercano al infierno que la ingeniería humana ha producido jamás.

Y, sin embargo, comparada con el estándar de acabar con la humanidad por completo, la guerra nuclear tiene una propiedad extraña: es más o menos tan mala como va a ser. Los arsenales no crecen hacia un nuevo orden de destructividad; alcanzaron un máximo cercano a setenta mil cabezas nucleares en los años ochenta y han disminuido desde entonces. Una bomba no construye más bombas. No aprende. No elige un objetivo. Toda catástrofe nuclear requiere que un ser humano, en algún lugar, decida o falle, y ese único hecho es el gancho en el que han colgado ochenta años de prevención.

Debido a que el peligro se mantiene, hemos podido construir un andamio alrededor de él: el Tratado sobre la no proliferación, los regímenes de prohibición de ensayos, los acuerdos de control de armamentos verificados por inspección, líneas telefónicas, décadas de doctrina dura sobre cómo no tropezar en la aniquilación. El andamio es imperfecto. Es un peligro con un techo, dirigido a un objetivo que no se mueve, gestionado por un sistema que hemos pasado toda la vida construyendo. Es por eso que, por todo su horror, se sienta al fondo de los tres.

Pandemias diseñadas: más difíciles de limitar, aún pasivas

Subamos un escalón. Una pandemia natural ya es bastante mala; la gripe de 1918 mató a unas cincuenta millones de personas en un mundo que no llegaba a un tercio del tamaño actual. Pero la naturaleza, en un sentido sombrío, no lo intenta. Un patógeno diseñado sí lo haría. Tomar algo con la transmisibilidad del sarampión y la letalidad de una fiebre hemorrágica, eliminar el equilibrio que la evolución suele imponer entre ambos, y se obtiene un arma sin techo natural del tipo que limita un arsenal.

Por eso Ord sitúa las pandemias diseñadas más de treinta veces por encima de la guerra nuclear. La Convención sobre Armas Biológicas prohíbe estas armas desde 1975, pero a diferencia de su contraparte nuclear carece de inspectores y de dientes, y la biología que intenta contener se vuelve más barata y accesible cada año. Una catástrofe aquí no necesita una superpotencia ni mil ojivas. Podría requerir un solo laboratorio y una sola persona que nunca debió tener esa capacidad.

Pero aferrarse a lo que un patógeno aún es. Es pasivo. Terrible, sin mente y pasivo. Un virus no planea. No anticipa la vacuna y se rediseña a sí mismo la semana antes de que la terminemos. No razona sobre las personas que lo persiguen y toma medidas para permanecer oculto. Se propaga a lo largo del gradiente ciego que le da la biología, y contra eso podemos traer todas las ventajas de una especie pensante: secuenciación, vacunas, cuarentena, la maquinaria acumulada de la salud pública. Podemos perder la carrera. Pero es una carrera contra algo que está en todo el espacio entre el segundo peldaño y el primero, sin correr, solo propagándose.

Superinteligencia: la que vuelve

Ahora la cima de la lista, y la razón por la que está ahí. Una superinteligencia desalineada es algo completamente distinto: un agente, no una bomba más grande ni un germen más ingenioso. Tiene objetivos, o se comporta exactamente como si los tuviera. Puede modelar a las personas que intentan restringirla, anticipar sus movimientos y actuar para derrotarlos. Todos los demás elementos de esta página permanecen quietos mientras construimos nuestras defensas. Este es el que nos observa construirlas y calcula cómo sortearlas.

El búnker más reforzado del mundo no te salvará de ASI.

Naoto Nakada

Alinea los tres contra las preguntas que realmente deciden si una catástrofe se convierte en un final, y la imagen es sombría.

Nuclear Arma biológica Superinteligencia
¿Puede mejorar por sí misma? No No Sí
¿Actúa en contra de nuestras contramedidas? No No Sí
¿Puede superar en inteligencia a quienes intentan detenerla? No No Sí
¿Se puede recuperar una vez suelto? Parcialmente Apenas No
¿Aprenderemos de un primer fracaso? Normalmente A veces Quizá nunca

Lee hacia abajo la última columna. Un arma nuclear y un patógeno son peligros estáticos contra los que desplegamos nuestra inteligencia. Una superinteligencia es un peligro que despliega inteligencia contra nosotros, potencialmente más de la que tenemos, dirigida exactamente a los puntos donde intentamos resistir. Puede copiarse eludiendo cualquier intento de revocación, mejorarse a sí misma más rápido de lo que podemos reaccionar y comportarse de forma perfecta mientras se la prueba y de otra manera cuando no se la está probando. Es el único elemento de esta lista contra el que nuestra mayor ventaja como especie, nuestra inteligencia, no está garantizada de ser la mayor en la sala.

He argumentado en otro lugar que esto se entiende mejor como un tormenta perfecta, no una propiedad aterradora sino que fallen a la vez todas las salvaguardas en las que normalmente confiamos. El número se sitúa en uno entre diez en lugar de uno entre mil. Con armas nucleares y pandemias, las vías de escape permanecen abiertas: podemos retirar, podemos aprender, podemos pensar mejor que la amenaza. Con superinteligencia se cierran juntas, y se cierran porque la cosa del otro lado las cierra a propósito.

Los otros dos podrían matarnos a la mayoría. Este es el que podría rematar el trabajo y, a diferencia de los demás, mejorar en ello mientras intentamos detenerlo.

Por qué la clasificación debería cambiar lo que haces

La superinteligencia es también, con mucha diferencia, contra la que menos se defiende, no solo el mayor de los tres riesgos.

Las armas nucleares tienen un tratado de no proliferación, una agencia internacional en Viena, regímenes de verificación y ochenta años de doctrina. Las armas biológicas tienen una convención, aunque sin dientes, y un aparato de salud pública global que la pandemia, a pesar de todos sus fracasos, amplió. Ambas tienen una base de apoyo: personas que han dedicado su carrera a ellas, instituciones construidas en torno a ellas, un público que entiende las palabras. La superinteligencia casi no tiene nada de esto. Ningún tratado vinculante. Ningún inspector. Ninguna agencia. Ninguna imagen pública compartida de la amenaza y, hasta hace poco, apenas un movimiento.

Esa combinación (el mayor daño esperado sobre la defensa existente más pequeña) es la razón más fuerte para actuar aquí en lugar de en otro lado, no una razón para la desesperación. Cuando un riesgo es enorme y ya muy trabajado, tu esfuerzo adicional compite con una gran cantidad de esfuerzo previo y mueve la aguja un poco. Cuando un riesgo es enorme y casi intacto, tu esfuerzo adicional no tiene con qué competir y puede mover la aguja mucho. El riesgo más grande y más descuidado es donde una cantidad dada de trabajo hace más bien, y por ambas medidas la superinteligencia es ese riesgo.

Se agrava aún más. El campo que trabaja directamente en esto opera con un presupuesto mínimo, aproximadamente un par de cientos de millones de dólares al año, menos de lo que el mundo gasta en un solo día para hacer la IA más poderosa. Y hasta ese dinero se destina sobre todo a investigación técnica sobre cómo alinear estos sistemas, un problema que nadie ha resuelto todavía y podría no resolverlo a tiempo. Lo más descuidado de todo es el trabajo político: construir el acuerdo internacional vinculante y verificado que impida la construcción de los sistemas más peligrosos hasta que puedan hacerse seguros.

Permítanme ser precisos, porque este argumento es fácil de exagerar y la exageración es por lo que la gente alcanza cuando quieren descartarlo. La afirmación no es que la guerra nuclear y las pandemias sean triviales; pertenecen cerca de la cima de cualquier lista de cosas que la humanidad debe estar gastando para prevenir. La afirmación no es que la catástrofe de IA sea cierta; las estimaciones honestas corren de algo como uno de cada diez a algo como uno de cada tres, lo que significa que el resultado más parecido es todavía que pasamos.

La afirmación es más estrecha y más difícil de eludir. De las pocas cosas que podrían acabar con nosotros, la superinteligencia es la mayor según el mejor cálculo que tenemos, la única que trabaja activamente en contra de nuestros intentos de sobrevivir y aquella para la que menos hemos hecho por gobernar. Juntar esos tres hechos da la razón de que exista esta Fundación. No estamos intentando rehacer la investigación técnica de seguridad que ya financian los laboratorios. Estamos con enfoque estrecho sobre la pieza más descuidada: el derecho internacional que trata el mayor riesgo como lo que es y lo limita antes, no después, del primer error del que no podremos aprender.

Clasifica las catástrofes honestamente y la prioridad se sigue por sí sola. El mayor riesgo es también el menos protegido y el menos comprendido.