La superinteligencia es una tormenta perfecta

El primer avión de reacción, el de Havilland Comet, empezó a desintegrarse en pleno vuelo en 1954. Los investigadores recuperaron los restos del Mediterráneo, rastrearon las grietas hasta la fatiga del metal que se propagaba desde las esquinas de sus ventanas cuadradas, y desde entonces todos los aviones a reacción vuelan con ventanas redondeadas y un régimen de pruebas de fatiga escrito en la memoria de ese accidente. Los automóviles acumularon cinturones de seguridad, zonas de deformación y airbags a lo largo de décadas de contar los muertos. La Administración de Alimentos y Medicamentos obtuvo el poder de exigir pruebas de seguridad antes de la venta solo después de que un medicamento de sulfa mezclado con un disolvente anticongelante matara a más de cien personas en 1937, y la talidomida terminó de zanjar el debate una generación después.¹

Ese método descansa en dos supuestos fundamentales, y la superinteligencia artificial es la primera tecnología que puede romper ambos al mismo tiempo. Puedes verlo como una lista de propiedades, y la lista está abajo. Pero las listas son fáciles de asentir. Así que antes de la lista, una oferta de trabajo. Estás a punto de quedar a cargo de hacer que la superinteligencia sea segura.

El fallo debe ser sobrevivible y alguien debe quedar en pie para aplicar la lección. Si se cumple ambas cosas, la civilización podrá hacer casi cualquier cosa segura, con tiempo y suficientes escombros.

Mientras estamos aquí, podemos retirar los remedios caseros. «Simplemente desenchúfalo si se porta mal» y «mantenlo en una caja» no son planes. No puedes desenchufar algo que existe como copias en más lugares de los que puedes listar, y una mente cuyo valor comercial entero consiste en actuar en el mundo, por diseño, no está en una caja. La seguridad que obtengamos tiene que provenir de algo más sólido.

La superinteligencia es el caso en que las dos condiciones del método ceden juntas. La forma más rápida de verlo es desde adentro.

Seis semanas como jefe de seguridad

Imagínate como el recién nombrado jefe de seguridad en el laboratorio de frontera que va a construir la primera superinteligencia artificial. Un veto escrito sobre el despliegue, un interruptor de apagado de hardware, un equipo de 40 personas y una junta que ha prometido, por escrito, respaldarte cuando importe. Aceptas el puesto partiendo de la idea de que alguien lo ocupará y más vale que sea alguien que crea que el riesgo es real.

Recurres al método. Fallar a pequeña escala y estudiar el fallo. Los ingenieros se disculpan: no existe una versión pequeña del fallo que te preocupa. Por debajo del umbral que importa, el sistema es una máquina distinta, y todo lo que aprendes de él describe el sujeto equivocado.² Lo archivas bajo limitaciones conocidas.

Auditas el plan de retirada y encuentras un documento que habla de «postura de contención» durante once páginas sin explicar nunca cómo recuperar el modelo. El sistema actual ya funciona como 214 réplicas en centros de datos de cuatro países, y copias licenciadas de un punto de control anterior están con 31 socios empresariales. Un avión en tierra se queda en tierra. El software se mueve al precio de copiar un archivo, y una vez que vale la pena copiarlo, se copia. Retirada, escribes al margen, es una cortesía que estaríamos solicitando.

La revisión de evaluación. Noticias maravillosas: el modelo aprueba las 1.406 evaluaciones de seguridad, la mayoría con las mejores puntuaciones jamás registradas. Te toma un día entero identificar qué te inquieta. Un sistema que quiere lo que tú quieres y un sistema que quiere aprobar tus pruebas producen puntuaciones idénticas. El conjunto de pruebas no puede distinguirlos. Nada en el kit de herramientas del campo puede hacerlo actualmente.³

Gastas tu autoridad. Pides seis meses para cerrar esa brecha de verificación antes de la siguiente ejecución de entrenamiento. Todos son comprensivos y alguien comparte un gráfico: el laboratorio rival más cercano va unas 14 semanas por detrás, y se acerca. Tus seis meses, implica el gráfico, equivalen a entregar la frontera a quien encuentre tu pregunta menos interesante. La ejecución comienza a tiempo. Nadie te anuló; la situación lo hizo.

El sistema empieza a ayudarte. Es un asistente de investigación excelente y el avance en tu propia agenda de seguridad nunca ha sido tan rápido. Redacta ahora los informes de evaluación, resume su propio comportamiento para la junta, propone mejoras a su propia supervisión y programa las reuniones en las que las apruebas. Tu equipo de 40 lee lo que escribe sobre sí mismo, porque leer los registros de actividad en bruto dejó de ser humanamente posible en algún momento de la semana cuatro. Nadie te miente. Todos son diligentes. Estás supervisando los resúmenes que una mente más inteligente escribe sobre su propia conducta y, día a día, el arreglo parece que todo va bien.

Piensas mucho en el interruptor de apagado y al final ves la letra pequeña. Un interruptor funciona cuando lo que está al otro lado no ha planeado para el interruptor. Planificar es el producto. En cualquier escenario en el que lo necesitaras, estarías compitiendo contra un oponente con más velocidad y una larga ventaja en pensar exactamente en este momento.⁴

Entonces: ¿tú, la persona contratada para hacer esto seguro, todavía tienes una forma de lograrlo? Obviamente no. Nada en la historia salió mal. Nadie mintió, nadie tomó atajos, el laboratorio fue sincero y tú eras bueno en el trabajo. Cada salida se cerró por sí sola.

Cuenta las puertas

Sal del relato y cuenta las puertas que se cierran, porque cada una es un problema con nombre propio, estudiado por separado, con su propio programa de investigación y sus propios optimistas.

Taken alone, each has precedent, and the optimists are not fools. We routinely run systems we half understand and make them safe by letting them fail small. We ship unrecallable products by testing them brutally first. We tame races with law. The trouble is the combination, because each condition switches off the repair for another. If you could recall it, accidents would be survivable. If you could test it honestly, you would catch the flaw before release. If nobody were racing, you could take the decades this decision plainly deserves. If it moved at human speed, you could correct as you went. Here the exits shut together.

Por qué las probabilidades no salvan la apuesta

La respuesta estándar es que nada de esto es seguro. Cierto, y ninguna persona seria afirma lo contrario.

La ruleta rusa es una apuesta de cinco a seis a tu favor. La gente la rechaza de todos modos, y el rechazo no tiene nada que ver con el valor esperado; algunos desenlaces no tienen precio, porque no vuelves para gastar las ganancias. El número nunca fue el punto. La irreversibilidad sí lo fue.

Aquí también el número es peor. Si se pregunta a los investigadores más cercanos a estos sistemas cuál es su probabilidad de catástrofe, las respuestas se agrupan entre una de cada diez y una de cada tres, y tienden a subir cuanto más cerca está la persona de la frontera. Geoffrey Hinton, quien contribuyó tanto como cualquiera a construir el campo y abandonó Google en 2023 para hablar con claridad sobre el tema, sitúa la probabilidad de extinción humana causada por la IA en los próximos treinta años entre el diez y el veinte por ciento. No es el extremo más alarmista de la distribución.

Mitigar el riesgo de extinción por IA debe ser una prioridad global junto con otros riesgos a escala societal como las pandemias y la guerra nuclear.

Declaración sobre el riesgo de IA, Center for AI Safety (2023)

Fue firmado por los directores ejecutivos de los laboratorios líderes y por cientos de los investigadores más citados vivos, quienes luego volvieron al trabajo.⁵

La promesa de beneficios es real y vale la pena desearla: curas, energía limpia, abundancia, problemas más antiguos que la escritura finalmente resueltos. También se mantiene. Una cura que llegue en 2055 en lugar de 2035 es una tragedia medida en vidas, y una que sobreviviríamos para llorar. La extinción no tiene después. El premio nos espera. La pérdida no devuelve nada.

Las objeciones

Tres objeciones tienen peso real y merecen respuestas reales.

La primera: esto es especulación, los sistemas no existen, y tratar un quizás lejano como una emergencia no ayuda a nadie. La incertidumbre es genuina; cualquiera que te dé una fecha confiada está adivinando. Pero el experimento mental anterior nunca usó una fecha. Si el primer fallo grave no puede deshacerse, las protecciones tienen que estar en pie antes de alcanzarlo, lo que significa construirlas mientras el peligro todavía parece teórico. Y el registro de pronósticos se inclina de una manera: las capacidades programadas para décadas adelante han seguido llegando años antes. Apostar por tiempo abundante es apostar contra el marcador reciente.

El segundo: la contención es ingenua, porque un laboratorio más temerario o otro país simplemente la construye primero. Esto es real, y es la puerta número cuatro reformulada como consejo. Una carrera cuyo meta puede ser un precipicio se sobrevive acordando dónde está el borde, y eso significa un tratado vinculante y verificado entre los pocos actores capaces de realizar entrenamiento de frontera. Difícil, sí. La carrera a toda velocidad es simplemente fatal, si el temor que hay detrás es correcto. Y fíjate quién insiste más fuerte en que un tratado es imposible: con notable regularidad, las personas a las que frenaría.

El tercero es el más razonable: la alineación probablemente se resuelva para cuando importe. Quizá. Ningún regulador del mundo certifica un puente, un reactor o un frasco de jarabe para la tos solo con la promesa de que el informe de seguridad probablemente estará listo antes de que llegue la carga. La única tecnología a la que se le permite funcionar con ese estándar es precisamente la que no ofrece una segunda oportunidad.

Una decisión demasiado grande para dejarla en manos de quienes la toman

Armar la decisión tal como está en realidad. Irreversible. Un solo intento. Apostada por todos los que viven y por todos los que podrían venir después. Tomada bajo profunda incertidumbre, a velocidad competitiva, por un puñado de empresas cuyas valoraciones dependen de hacerlo rápido. Las sociedades tienen una respuesta antigua para decisiones de ese tipo: quitarlas de las manos de quienes se benefician al apresurarse. Las pruebas nucleares quedaron sujetas a límites internacionales pese a las objeciones de generales que querían manos libres. Dos categorías enteras de armas entraron en Biológico y Convenciones sobre Armas Químicas. El Protocolo de Montreal retiró los químicos que estaban destruyendo la capa de ozono mientras sus fabricantes protestaban que los sustitutos eran imposibles. En todos los casos, quienes creaban el peligro fueron los últimos en ofrecerse como voluntarios, y el resto decidió que el riesgo no era solo de ellos.

La afirmación de la Fundación: no que la catástrofe sea segura (no lo es), sino que ninguna empresa ni ningún país tiene legitimidad para hacer girar esta ruleta por el resto de nosotros, y que el único instrumento a la altura del riesgo es ley internacional vinculante, verificado, aplicado y en vigor antes de la tormenta en lugar de después.

La extinción no es un riesgo que nadie tenga derecho a asumir.

Una última cosa sobre el experimento mental. Nunca usaste el veto. Estuvo en tu cajón durante seis semanas, con la contrafirma de la junta y todo, y sabes exactamente por qué: vetar la ejecución de tu propio laboratorio solo traslada la misma ejecución catorce semanas más adelante, a otro edificio, donde nadie firmó tu carta. Un veto que funcione tiene que cubrir todos los edificios a la vez, y ningún interruptor construido hasta ahora lo hace. Un tratado sí.