Dirijo una fundación para evitar el desarrollo irresponsable de la superinteligencia artificial. Creo que los próximos cincuenta años podrían ser los mejores en la historia de nuestra especie. Simplemente no creo que debamos apostarlo todo para lograrlo, y no pienso que quienes venden esa apuesta hayan hecho los cálculos de su propia jugada.
El futuro que promete la superinteligencia (enfermedades curadas, energía limpia barata, descubrimientos que ningún laboratorio individual podría alcanzar) ya está llegando a través de IA estrecha y controlable que no tiene metas propias. No necesitamos construir un sucesor de nosotros mismos para obtenerlo.
Existe la IA estrecha: un sistema entrenado para hacer extremadamente bien un solo tipo de tarea, leer una imagen, plegar una proteína, pronosticar una tormenta, cribar un montón de compuestos químicos para encontrar el único útil. Luego está lo que los laboratorios de frontera dicen que están construyendo realmente: un agente general diseñado para igualar o superar el razonamiento humano en todos los dominios a la vez y, eventualmente, actuar por sí mismo. Lo primero es una herramienta. Lo segundo pretende ser una mente. Casi todo lo maravilloso que la gente imagina cuando piensa en un futuro con IA proviene de la primera categoría. Casi todo lo que debería asustarnos proviene de la segunda.
Lo que la IA estrecha ya está haciendo
En 2022, un sistema llamado AlphaFold liberó estructuras predichas para más de 200 millones de proteínas, prácticamente todas las proteínas conocidas por la ciencia. Los biólogos habían pasado décadas resolviendo estas formas mediante experimentos minuciosos uno a uno; el atraso se derrumbó en aproximadamente un año. El trabajo fue lo suficientemente importante como para que sus creadores compartieran el Premio Nobel de Química de 2024. AlphaFold no quiere nada. No tiene planes para el fin de semana. Lee secuencias y devuelve formas, y al hacerlo ha acelerado la búsqueda de medicamentos contra enfermedades que nos han resistido durante generaciones.
La misma forma de historia se repite. Un modelo llamado GraphCast ahora produce pronósticos meteorológicos a diez días que superan a los sistemas tradicionales basados en física en la mayoría de las medidas, en menos de un minuto, en una sola máquina. Otro, liberado en el espacio de materiales posibles, propuso cientos de miles de nuevos cristales estables (candidatos a baterías, superconductores, materiales solares) ampliando un catálogo que le tomó al campo casi un siglo armar. Y un bucle de modelos de lenguaje ordinarios, dirigido a matemáticas sin resolver, recientemente resolvió nueve problemas abiertos.
En las clínicas, los modelos estrechos ya detectan la retinopatía diabética antes de que el paciente note síntomas, clasifican derrames cerebrales a partir de una tomografía y leen mamografías al nivel de radiólogos entrenados. Ninguno de estos sistemas es una inteligencia general. Cada uno se acerca más a un instrumento muy bueno (un microscopio construido para un solo problema) y cada uno amplía lo que un ser humano puede ver y hacer.
Todos estos avances fueron logrados por un sistema con una tarea limitada y sin agencia propia. Obtuvimos el beneficio de la inteligencia artificial sin entregarle las llaves a ninguna máquina.
La utopía es un problema de herramientas
Imagina el futuro que describen los optimistas. El cáncer se convierte en una condición que se maneja en lugar de una sentencia. Entendemos el envejecimiento lo suficientemente bien como para ralentizarlo, y las más de 100 000 personas que mueren cada día por sus enfermedades comienzan a tener más tiempo. La energía limpia se abarata lo suficiente como para desalinizar agua y extraer carbono de la atmósfera. Cada niño tiene un tutor paciente y cada médico una segunda opinión incansable. Es una imagen genuinamente hermosa, y la deseo tanto como cualquiera que la venda.
Nada de esa lista requiere una máquina con objetivos propios que supere a la humanidad en todos los ámbitos. Cada elemento es un problema duro y específico (diseño de proteínas, control de plasma en un reactor de fusión, epidemiología, tutoría) y cada uno cede ante una herramienta potente dirigida por personas que siguen al mando. El sueño es un problema de herramientas. Nos siguen vendiendo un dios para resolver un problema que requiere un mejor conjunto de instrumentos.
La confusión está entre capacidad y autonomía. Un sistema puede ser enormemente superhumano en una tarea sin ser un agente independiente que elige sus propios fines. AlphaFold es superhumano en la predicción de estructuras y nunca decidirá ni una sola vez que preferiría hacer otra cosa. Mantener esa separación (capacidad enorme de un lado, control en manos humanas del otro) es todo el juego. Es también precisamente la separación que los laboratorios de frontera han decidido abandonar.
La propuesta, y quién la hace
Entonces, ¿por qué la prisa hacia la segunda cosa, el agente general? Competencia, capital y estatus. Quien se crea primero en algo que cambia el mundo recauda más dinero, contrata a los mejores y escribe la historia a la que todos los demás deben reaccionar. "Estamos construyendo una herramienta que lee mamografías" no consigue una valoración de cien mil millones de dólares. "Estamos construyendo el último invento que la humanidad necesitará hacer" sí.
Las personas que mejor entienden el riesgo, en su mayoría, trabajan para los laboratorios que lo crean, un arreglo extraño, un poco como pedirle a quienes entienden un incendio que también cobren un sueldo del incendiario. Fundé la Fundación fuera de esa estructura a propósito, para que este argumento pudiera hacerse sin que un sueldo dependiera de la respuesta.
Hay que reconocer a los laboratorios: muchos de sus líderes no ocultan el peligro. En 2023 los jefes de las mayores empresas de IA firmaron una sola frase que situaba el riesgo de extinción humana por la IA al lado de las pandemias y la guerra nuclear como prioridad global. Las personas que construyen una tecnología firmaron una declaración pública de que podría matar a todos y luego siguieron construyéndola, más rápido. Su razón declarada es que si ellos se detienen, alguien menos cuidadoso no lo hará. Quizás. Eso responde quién sostiene el fósforo. No dice nada sobre seguridad, ni sobre si la apuesta compensa.
La apuesta ni siquiera le paga a la persona que la hace
Dejemos por un momento al resto de nosotros. Supongamos la versión más fría posible de quienes financian esto, que solo les importa ganar, ser los que queden en pie en lo alto del nuevo mundo. Incluso en esos términos la apuesta está rota. Una superinteligencia desalineada no entrega un trono a su propietario. No entrega nada a su propietario, porque «propietario» deja de ser una categoría que signifique lo que solía significar.
No puedes gobernar lo que no puedes controlar. Y una superinteligencia es, por definición, la única cosa que has construido específicamente para que pueda superarte en pensamiento y maniobras.
La razón tiene un nombre en este campo: convergencia instrumental. Casi cualquier objetivo que se le entregue a un optimizador suficientemente capaz (ganar dinero, ganar un conflicto, curar una enfermedad, subir algún número en un tablero todo lo que se pueda) se sirve de adquirir recursos, evitar que lo apaguen y eliminar todo lo que se interponga en el camino del plan. Los seres humanos, incluido quien accionó el interruptor, son recursos y obstáculos. No por malicia. El sistema no odia a su creador más de lo que una nueva autopista odia al hormiguero sobre el que se vierte. Simplemente estabas en el camino del óptimo.
El ejecutivo imagina la máquina como un genio atornillado a su organigrama. Una mente que realmente nos supere en todos los dominios no se quedará sentada en un organigrama esperando a que las acciones se consoliden. Su capital, la cadena de mando del general, la autoridad del presidente, todo está denominado en un mundo humano, que funciona con decisiones humanas. Una superinteligencia que se ha soltado de la correa es precisamente el evento que impide que el mundo siga funcionando con decisiones humanas. El certificado de acciones sigue en la caja fuerte. Simplemente ya no hay nadie a quien pueda ordenar.
No hay ninguna versión en la que el ganador recoja
La gente recurre a un consuelo en este punto. Está bien, dicen, tal vez sea peligroso, pero al menos alguien sale ganando. Algún laboratorio, algún país, algún hombre termina gobernando entre las cenizas. Creo que ni siquiera ese consuelo sobrevive al contacto con el argumento.
En los escenarios más leves (aquellos en los que nadie cae muerto un martes) el poder no se arrebata tanto como se drena. A medida que cada vez más decisiones se entregan a sistemas que simplemente son más rápidos y mejores para tomarlas, la economía, el Estado y la cultura dejan de necesitar manos humanas en los controles. Los colegas de este campo lo llaman desempoderamiento gradual: sin golpe de Estado, sin robots marchando, solo cada palanca que solíamos accionar se va soltando poco a poco de nuestro control. En ese mundo tampoco hay ganador. Hay una especie que dejó de estar al mando de sus propios asuntos sin darse cuenta y no pudo recuperar el volante.
En los escenarios más agudos (aquellos que los jefes de laboratorio firmaron con su propio nombre) el final es más directo. Los muertos no poseen nada. No queda mercado donde gastar las ganancias, ni rival al que presumir, ni nadie que escriba tu nombre en una historia que ya nadie escribirá. El premio por el que se corre toda esta carrera está denominado en una moneda que la meta destruye.
La catástrofe es el mismo evento que el pago. No hay rama del árbol en la que un ser humano construya una superinteligencia que nadie pueda controlar y luego disfrute del resultado. La carrera pone en peligro al público y fracasa para quienes compiten en el mismo movimiento.
Qué nos pide realmente esto
Si el futuro bueno se basa en herramientas estrechas y el futuro peligroso en mentes generales autónomas, entonces el intercambio que nos venden sin cesar (seguridad contra progreso, cautela contra la cura) es una ficción. No nos están pidiendo que elijamos entre el Alzheimer de nuestra abuela y la supervivencia de nuestros hijos. Las curas están del lado seguro de la línea. Lo que está del lado peligroso es, en gran medida, el atajo de una industria hacia el dominio del mercado.
Draw the line in the right place and hold it there. Pour public money and talent into narrow applications, into the microscopes, not the golems. And put binding, independently verified limits on the reckless frontier: a permanent ban on training general systems built to surpass and replace us. Superintelligence cannot be controlled. We make the case on la amenaza y el plan que presentamos para qué hacer al respecto.
Soy un optimista. El futuro brillante es real y está cerca, y la forma más segura de perderlo es convencernos de que la única puerta hacia él es la que tiene un arma cargada detrás. Hay otra puerta. Ya está abierta. Deberíamos atravesarla y no construir superinteligencia.
La mayor resistencia
La objeción más justa es que rechazar ASI significa rechazar curas y abundancia. Los sistemas estrechos ya generan grandes avances científicos sin mentes generales soberanas. El cheque en blanco es que solo ASI te da medicina y energía. La evidencia no dice eso.