¿Qué obtiene el ganador de una carrera por la superinteligencia? En salas llenas de gente que construye IA, la conversación pasa por alto esa pregunta. Alguien la construirá de todos modos, así que mejor que seamos nosotros. Riesgo, plazos, cómo controlar un sistema más inteligente que sus creadores: todo se despacha con charla de ascensor. No podemos parar. Hay una carrera.
He llegado a pensar que la carrera es lo que vale la pena discutir, precisamente porque casi nadie lo discute. Tratada como un hecho de la naturaleza, cada decisión imprudente que sigue empieza a parecer responsable. El clima es el modelo equivocado para una elección que un puñado de empresas está tomando a propósito.
Para qué sirve una carrera
Una carrera es un concurso con un premio al final, y el premio es la razón para correr. La carrera espacial de los años sesenta entregó una bandera en la Luna y el prestigio que conllevaba. Una carrera armamentista nuclear entrega un arma: el Estado que construye la bomba posee la bomba, la apunta y decide si alguna vez se usa. En cada caso el ganador termina con algo en sus manos, una capacidad que posee y controla.
Ahora pregúntate qué posee el ganador al final de la carrera hacia la superinteligencia. Toda la premisa del peligro es que un sistema significativamente más inteligente que nosotros no sería una herramienta en manos de nadie. Una superinteligencia artificial es un agente que persigue objetivos. Si esos objetivos se apartan aunque sea ligeramente de los nuestros (el problema que no han resuelto), las persigue tanto si sus creadores lo aprueban como si no. El laboratorio que "gana" no llega a poseer una superinteligencia. Llega a compartir un planeta con una que no puede controlar.
Una carrera solo vale la pena ganarla si la meta es un premio. Aquí la meta es un sistema que nadie ha demostrado poder controlar. Llegar primero no significa tener el poder. Significa ser el primero en rendirle cuentas.
Una línea de meta que nadie puede controlar no es un premio. Llegar primero es perder un paso por delante de todos los demás.
La brecha de la que sigues oyendo hablar
Si se quita la teoría, la narrativa de la carrera descansa en una afirmación concreta: China está cerca, China no se detendrá y por tanto nosotros tampoco podemos. Esa afirmación cierra todas las reuniones y se repite mucho más de lo que se examina.
Start with the factual part. There is real competition between American and Chinese labs, and there is a real industrial contest over chips and compute. American export controls on the most advanced AI chips exist precisely because that contest is real. None of that is a myth, and I do not want to pretend it is. The política de esos controles y donde la cooperación realmente ha ocurrido matter more than the slogan.
Mira lo que esconde el eslogan. «China construirá una superinteligencia incontrolable haga lo que hagamos» no describe nada que China haya dicho o hecho. Es una predicción, y una conveniente, porque autoriza al hablante a hacer lo que ya quería hacer. China firmó la Declaración de Bletchley sobre el riesgo de la IA en 2023. Ha publicado sus propias propuestas de gobernanza. Su gobierno se ha sentado con Estados Unidos para mantener conversaciones directas sobre IA. Un país que corre hacia un sistema que podría matar a su propia dirigencia es algo extraño de dar simplemente por sentado, sin evidencia de que sus líderes deseen ese resultado más que los nuestros. Desmontamos la versión más amplia de esto en nuestro página sobre el mito de China; la versión corta es que "lo harán de todos modos" es una historia sobre nuestro propio permiso, no sobre sus intenciones.
si una superinteligencia desalineada es una catástrofe para quien la construya, entonces China tiene exactamente la misma razón que nosotros para no construir una. Tampoco hay premio para un rival.
La carrera selecciona a los menos cuidadosos
Concedamos, por el bien del argumento, que la competencia es tan feroz como dicen los corredores. Sigamos la lógica hasta donde lleve. En una carrera, gana quien se mueve más rápido, y la forma de moverse más rápido en la frontera de la IA es dedicar menos tiempo a lo que te frena: evaluaciones, red-teaming, supervisión, el trabajo paciente de verificar si el sistema hace lo que crees que hace.
La estructura de una carrera otorga la victoria a quien más atajos tome en materia de seguridad. El ganador es el laboratorio menos cauteloso, no el más capaz. "Tenemos que ganar la carrera" y "tenemos que construir esto de forma segura" tiran en direcciones opuestas, y cuanto más dura la carrera, más fuerte tiran. Desarrollamos esto en detalle en dinámicas de la carrera de IA: la competencia no disciplina el peligro. Lo fabrica. Un mundo de laboratorios que corren para ser los primeros es un mundo que optimiza, con gran energía y un capital enorme, exactamente lo que mata a todos.
Incluso dentro de la propia lógica de la carrera, «debemos ganar» se vuelve en contra de sí misma. Si ganar exige recortar las esquinas que mantienen controlable a una superinteligencia, entonces ganar es la forma de perder.
Quién se beneficia de la historia
Si el marco de la carrera es tan débil, ¿por qué está en todas partes? Porque es útil, solo que no para el resto de nosotros.
Para un laboratorio de frontera, «hay una carrera y debemos ganarla» es casi la frase perfecta. Les dice a los inversores que el gasto es una apropiación de algo enorme. Les dice a los reguladores que cualquier norma solo entregará el futuro a actores peores. Y la parte callada: permite que los propios ingenieros del laboratorio, preocupados por la seguridad, crean que competir es la opción responsable, porque la alternativa es dejar que ganen los imprudentes. Una sola frase que hace el trabajo de un argumento que nunca tiene que exponer. Convierte una decisión (seguir construyendo algo que aún no se puede controlar) en una necesidad de la que nadie se libra, y menos quienes la toman.
Nombra el truco de manos. Una carrera suena como una condición impuesta a los laboratorios desde fuera. Es una elección, hecha por un pequeño número de empresas y los gobiernos que podrían frenarlas, de seguir adelante. Elon Musk ha llamado al demonio a la IA y luego construyeron un laboratorio para invocarlo más rápido, lo que te dice que la «carrera» es una estrategia que alguien eligió, no una ley de la física que todos obedecen. Las estrategias pueden abandonarse cuando dejan de tener sentido. Esta dejó de tenerlo en el momento en que el premio resultó ser un sistema que nadie puede controlar.
La opción que nunca está sobre la mesa
Fíjate en lo que el marco de la carrera elimina silenciosamente de la vista. Presenta dos puertas: competir, o retirarse unilateralmente y dejar que los imprudentes hereden el futuro. Dicho así, solo un tonto elige la segunda puerta, y el argumento gana porque omite la tercera.
La tercera puerta es la que han usado antes los adversarios genuinos. Estados Unidos y la Unión Soviética eran adversarios en todos los sentidos, apuntando armas capaces de acabar con el mundo a las ciudades del otro. Aun así firmaron y verificaron acuerdos de control de armas, porque ambos bandos podían ver que una carrera sin límites los dejaba peor que una norma que los obligara por igual. La desconfianza fue la razón del acuerdo, no el obstáculo para alcanzarlo.
Superintelligence has the feature that makes such an agreement rational: no major power benefits from a system that no one can control, so no major power has a real interest in being the one who builds it first. That shared interest is the ground a treaty stands on: a binding, verifiable halt on the development of superintelligence. Superintelligence cannot be controlled. Una negativa permanente de ASI como categoría de producto. Hemos esbozado cómo podría verse ese instrumento, desde unatratado modelo al plan más amplio a la que pertenece. La verificación es difícil y no pretenderé lo contrario; también lo fue para las armas nucleares, y aun así se construyeron porque la alternativa resultaba inaceptable para todos los presentes.
"Carrera o rendición" es una elección falsa. El encuadre depende de que nunca notes la puerta que dejó fuera.
Rechazar la carrera
Si se quita la narrativa, queda esto: un puñado de laboratorios elige construir una tecnología que admiten abiertamente no saber controlar, y lo justifican señalando a un rival que, supuestamente, toma la misma decisión temeraria por la misma razón equivocada. La temeridad de cada lado se ofrece como excusa para la del otro.
Nada de esto exige creer que la competencia es imaginaria o que la geopolítica es suave. Solo hace falta notar que una carrera sin premio al final no es una carrera por la que valga la pena arriesgar la especie, y que quienes te dicen que es inevitable son, casi siempre, los que se benefician de ella. La carrera es un relato. Uno bueno y muy conveniente para toda una industria. Un relato es exactamente el tipo de cosa que uno puede dejar de creer.