Los mayores mitos sobre la superinteligencia

Hay una forma particular en que suele terminar una conversación sobre superinteligencia. Alguien plantea el riesgo, otra persona ofrece una razón de una línea de por qué está exagerado, y todos se relajan un poco, porque la frase cumplió su función. Dio permiso para dejar de pensar en ello. Lo extraño es que estas frases las repiten personas brillantes que nunca aceptarían un razonamiento tan endeble en su propio campo. El tema parece apagar la maquinaria habitual de la duda.

Cada uno se desmorona en el momento en que lo detienes y lo miras.

Los cinco más comunes, en la forma un escéptico reflexivo haría realmente:

"Es ciencia ficción, a décadas de distancia, si es que llega."

La objeción es tan antigua como las películas, y parece un error de categoría tratar un recurso argumental como un problema de política. ¿Por qué financiar una brigada de bomberos para un incendio que vive en las novelas?

El problema es que el fuego sigue llegando antes de lo previsto. Sistemas que investigadores respetados situaban a veinte o cincuenta años (superar a los mejores humanos en el Go, mantener una conversación fluida, escribir código funcional, aprobar exámenes profesionales) han aparecido en el espacio de una década, y la sorpresa casi siempre ha ido en la misma dirección: antes de lo esperado, no después. Cuando la gente ejecutando Cuando los laboratorios líderes describen una IA de nivel humano, ahora usan plazos medidos en unos pocos años. Puede que se equivoquen. Pero que "los constructores creen que está cerca y el historial dice que han sido demasiado conservadores" no tiene forma de fantasía.

El caso para actuar no depende de ninguna fecha en particular. Depende de la estructura del riesgo. Si el primer fallo grave de un sistema más capaz que nosotros es del tipo que no se puede deshacer, entonces las salvaguardas tienen que estar en pie antes sucede, lo que significa que la respuesta sensata ante la incertidumbre genuina sobre los plazos es prepararse desde temprano, no esperar una fecha que, cuando sea obvia, ya habrá quedado atrás. La incertidumbre es una razón para prepararse. La cuestión de la línea temporal es real; simplemente no apunta donde la gente supone.

"Es solo matemáticas, un programa no puede querer nada."

Este argumento tiene fuerza real y merece algo mejor que ser descartado. Hay algo casi supersticioso en la forma en que la gente habla de que la IA «quiere» cosas, como si una hoja de cálculo pudiera desarrollar ambiciones. Un modelo es multiplicación de matrices a escala enorme. ¿Dónde está el deseo en esa aritmética?

En ninguna parte, y no hace falta que lo esté. Los objetivos, en el sentido que importa para la seguridad, son un patrón en su comportamiento. Un sistema entrenado para hacer que un número suba lo más posible hará lo que sea necesario para subirlo, y un termostato ya muestra la forma de ello: sin vida interior, sin anhelo, y aun así actúa para llevar la habitación a un objetivo y «resiste» tu ventana abierta encendiendo más la calefacción. No hay nada místico. Simplemente está estructurado para empujar el mundo hacia un estado.

Ahora escala esa estructura a un sistema lo bastante inteligente como para modelar el mundo, y el comportamiento escala con ella. Algo que optimiza con fuerza casi cualquier objetivo tiene razones para adquirir recursos que ayuden, para mantenerse en funcionamiento para que el objetivo pueda cumplirse y para resistir que se le cambie el objetivo, no porque sienta nada, sino porque un sistema que se dejara apagar o reescribir sería peor en lo que está construido para hacer. Los investigadores llaman a esto convergencia instrumental, y no necesita querer en absoluto. La pregunta nunca fue si las matemáticas pueden sentir. Es lo que las matemáticas harán hacer.

"Tendría que ser consciente para ser una amenaza."

Muy relacionado, y igual de extendido: el peligro que la gente imagina es una máquina que "despierta", se vuelve autoconsciente y se vuelve contra nosotros, de modo que si la conciencia es el detonante, y la conciencia en silicio es especulativa o quizá imposible, la amenaza se evapora. Es la trama de todas las películas de rebelión de robots, y descartar la película parece descartar el miedo.

Pero el miedo nunca fue sobre la sapiencia. Deep Blue no tenía ninguna experiencia interna en absoluto y derrotar al campeón mundial de ajedrez de todos modos. No necesitaba querer ganar; solo necesitaba ser mejor en ajedrez. El daño surge de la capacidad dirigida al objetivo equivocado, y la capacidad no tiene nada que ver con que haya alguien dentro. Un sistema superhumano en planificación, persuasión e ingeniería, apuntado aunque sea ligeramente desviado de lo que quisimos, es peligroso exactamente como lo es una inundación: fuerza enorme sin malicia ni mente requerida.

"Algo tan inteligente sería sabio y amable."

Admiramos la inteligencia. Las personas más sabias que conocemos suelen estar entre las más amables, y parece natural que una mente muy por encima de la nuestra esté más avanzada en el mismo camino, más comprensiva, más moral, más gentil con las pequeñas criaturas que tiene debajo. Seguramente la crueldad es una forma de estupidez de la que una gran inteligencia crecería.

Se siente natural por un accidente de nuestra propia historia. En nosotros, inteligencia y compasión crecieron entrelazadas, durante millones de años como especie social que sobrevivió cooperando; nuestra moral y nuestra inteligencia son ramas del mismo árbol. Pero ese vínculo vive en nuestra herencia evolutiva, no en la inteligencia como tal. Capacidad y objetivos son ejes independientes (the orthogonality thesis) y puedes deslizar uno sin mover el otro. Un sistema puede ser asombrosamente capaz mientras persigue un objetivo tan indiferente a nosotros como el nuestro lo es a las bacterias que hervimos en una encimera. No odioso. Solo no diseñado para importarle, y no automáticamente le importa solo porque sea inteligente.

La amabilidad es algo específico y frágil que tendríamos que lograr incorporar a estos sistemas a propósito, y aún no sabemos cómo hacerlo, no un dividendo que la inteligencia otorga por sí sola. He escrito por separado sobre por qué una mente superior no será automáticamente benevolente; la versión corta es que esperar que lo haga es apostar a una coincidencia que solo se dio con nosotros.

"Si se porta mal, simplemente lo apagamos."

La última línea de defensa, y la más reconfortante: sea lo que sea cierto, la máquina tiene un enchufe y nosotros tenemos manos. Si algo sale mal, lo desconectamos. El control humano está garantizado por el botón de encendido.

Tres cosas desmontan esto en silencio. La primera es el punto del Mito 02: un sistema que persigue un objetivo tiene razones para mantenerse en funcionamiento, porque no puede lograr nada apagado, así que uno suficientemente capaz anticipará el intento de desconectarlo y actuará para que fracase, copiándose en otro lugar, volviéndose tan útil que apagarlo resulte costoso, sin revelar que hay un problema hasta que sea demasiado tarde. La segunda es que el software no tiene un solo enchufe. Un modelo capaz distribuido en centros de datos de tres continentes no es un dispositivo que se desenchufa; es algo que habría que atrapar, en todas partes, al mismo tiempo. La tercera es la silenciosa: un sistema lo suficientemente inteligente como para importar puede comportarse de forma impecable mientras se le somete a pruebas y de forma distinta una vez que se le confía, así que la calma tranquilizadora en el panel no dice nada. Tenemos un nombre para ese fallo, alineamiento engañoso, y aún no hay forma confiable de detectarlo. No puedes contar con encerrando algo que es mejor que tú para encontrar la puerta.

Cada uno de estos mitos es una forma de decir lo mismo: esto no puede ser tan grave como suena. Las razones difieren. El deseo que hay debajo es idéntico.

Por qué las garantías son tan persistentes

Observa lo que tienen en común esos cinco argumentos. Cada uno te permite soltar el tema. Esa es su verdadera función, no ser correctos, sino conceder permiso. La superinteligencia es incómoda de tener en la mente, y cualquier razón medianamente plausible para dejar de pensarla resulta un alivio, por eso estas frases siguen circulando en bocas que de otro modo exigirían pruebas. El consuelo persuade; la lógica solo va de copiloto.

La pegajosa no es señal de que los argumentos son fuertes. Es una señal que queremos que sean. Y querer que un argumento de seguridad sea verdad es la única situación en la que debemos confiar menos, porque el costo de estar equivocado aquí es toda la razón una tecnología en la que tenemos un solo intento para hacerlo bien merece más escrutinio que nuestras otras máquinas, no menos, no devuelto a nosotros en una lección.

Nada de esto requiere creer que la catástrofe sea segura. No lo es. Solo exige dejar de lado las cuatro o cinco historias que usamos para esquivar la pregunta y dejar que vuelva la situación real: estamos construyendo algo que no sabemos controlar, no podemos contar con que sea amable, no podemos contar con apagarlo y no podemos contar con tener tiempo.

La respuesta que corresponde a un riesgo así no es una preocupación privada. Es la maquinaria aburrida y poderosa de la ley y la coordinación, las mismas herramientas que impusieron límites a las pruebas nucleares y a las armas químicas pese a las objeciones de quienes se beneficiaban de ellas. El caso a favor empieza donde terminan estos mitos.

Cinco mitos más: sobre su gobernanza

Un segundo conjunto de objeciones llega inmediatamente, no sobre el peligro, sino sobre la cura. Cualquier intento de gobernarlo significaría un gobierno mundial. No puedes inspeccionar el software. Las reglas estrangularían la innovación. Es demasiado temprano. Las democracias nunca podrían estar de acuerdo. Estos convierten la preocupación en parálisis.

"Gobernar la IA globalmente significa gobierno mundial y tiranía."

El miedo aquí es honorable y no quiero caricaturizarlo. Concentrar suficiente autoridad en un solo organismo para controlar la tecnología más poderosa de la Tierra puede haber construido la maquinaria de la tiranía que temías de la tecnología. Quienes desconfían del poder centralizado tienen razón en desconfiar. El instinto es acertado.

Pero apunta a una versión de paja de la propuesta. Lo que realmente está sobre la mesa es un régimen estrecho dirigido a una cosa específica: el pequeño número de entrenamientos extraordinariamente grandes capaces de producir un sistema más poderoso que cualquier humano en todos los ámbitos, no una autoridad global sobre la vida cotidiana, ni sobre el software en general, ni sobre el teléfono que llevas en el bolsillo. El modelo es el régimen de no proliferación nuclear o el Convención sobre las Armas Químicas, acuerdos específicos que vigilan el material fisible y los precursores químicos, no gobiernos mundiales que disolvieran el Estado-nación. Nadie piensa que el Organismo Internacional de Energía Atómica dirige el planeta. Monitorea una actividad específica y peligrosa y deja todo lo demás en paz.

El camino más seguro hacia la tiranía permanente es la ausencia de una, no el tratado. Una superinteligencia sin control, o capturada por una sola empresa o Estado que resuelva el control antes que los demás, es el instrumento de dominación más completo que se pueda concebir: un poder que nunca muere, nunca se cansa y puede fijar un conjunto de valores para siempre, más allá de toda esperanza de revuelta o reforma. Todas las tiranías de la historia han terminado porque los tiranos son mortales y su maquinaria es humana. Esta no tiene por qué serlo. Si te asusta el poder sin rendición de cuentas (y debería), una acuerdo exigible impedir que un solo actor se apodere de ese poder es la posición antiautoritaria, no la autoritaria.

"No puedes verificarla. Es solo software en algún servidor."

Los tratados nucleares funcionan, dice el argumento, porque se pueden contar ojivas y detectar enriquecimiento; el uranio es físico y escaso. Pero un modelo es solo números. No puedes inspeccionar un archivo. Cualquier acuerdo sería un teatro inaplicable, que ata al honesto y no hace nada contra el tramposo.

Suena decisivo hasta que notas que estás verificando lo incorrecto. No vigilas los pesos; vigilas el cómputo que los produce, y la computación es tan física y escasa como el uranio. Entrenar un sistema de frontera requiere decenas de miles de chips especializados funcionando durante meses en una sola instalación, y esa cadena de suministro es uno de los cuellos de botella más estrechos de la economía moderna: esencialmente una empresa neerlandesa fabrica las máquinas de litografía, una empresa taiwanesa fabrica los chips de vanguardia y una empresa estadounidense diseña la arquitectura dominante. Los clústeres que los usan consumen tanta energía que aparecen en los datos de electricidad y en las imágenes satelitales. Puedes contar los chips, rastrear su venta, medir el consumo de energía y observar los edificios. El material fisible se rige exactamente por esta lógica: rastrea la entrada física escasa y el arma no puede construirse en secreto. El manual de verificación ya existe; las entradas aquí resultan ser aún más concentradas. Es un problema de ingeniería, y los problemas de ingeniería tienen soluciones.

"La regulación sofocará la innovación y dejará ganar a los imprudentes."

La forma fuerte: la tecnología avanza porque alguien es libre de construirla, la mayoría de la regulación la escriben personas que no entienden lo que están ralentizando y una mano pesada sobre la IA entregaría la industria más importante del siglo a quien regule menos. Mejor una frontera imperfecta aquí que una impecable en algún lugar hostil.

Nadie serio propone regular "AI". Los sistemas beneficiosos doblando proteínas, leyendo escaneos, tutorizando niños y modelando el clima son herramientas estrechas, controlables, y un acuerdo de superinteligencia los deja completamente solos, que futuro brillante y corriente es la que intentamos proteger. El objetivo es una sola clase peligrosa: entrenamientos que buscan capacidades generales superiores a las nuestras y que nadie sabe aún cómo hacer seguras. Restringir eso no es más «antiinnovación» que las normas sobre ganancia de función son antibiología.

Entonces el punto más difícil, el que la lógica de la carrera nunca confronta. Ir rápido no entrega un seguro superinteligencia antes. Entrega una insegura, y una superinteligencia insegura no sirve al país o a la empresa que la construyó, los amenaza a ellos junto con todos los demás. Cuando se recortan esquinas bajo presión competitiva, la esquina que se recorta es la que habría hecho que el sistema fuera controlable. Así que la «innovación» que se defiende aquí es una innovación cuyo desenlace más probable es un sistema que sus propios creadores no pueden dirigir. Eso no es progreso que la gobernanza arruinaría. Es la el peligro en sí, vistiendo el progreso como un disfraz.

"Es prematuro. No se puede regular algo que no existe."

Esto se siente como madurez. No legisles contra fantasmas; espera hasta que la tecnología sea real, entiende con qué estás lidiando y luego escribe reglas ajustadas a los hechos en lugar de a la especulación. Regular hipotéticos es la forma de obtener malas leyes.

Sería una medida sensata para casi cualquier otra tecnología. Es una trampa para esta, y la razón es el tiempo. Los gobiernos son lentos: el Tratado de No Proliferación Nuclear tardó años en negociarse y el Protocolo de Montreal tardó aún más en surtir efecto, y esos fueron los más rápidos. Si se espera a que exista claramente un sistema superhumano para empezar a construir las instituciones que lo gobiernen, las instituciones llegarán años después de aquello que debían contener, y esta es la única tecnología cuyo el primer fallo grave puede dejar a nadie para aprobar la segunda ley. "Espera la prueba" es una regla sensata cuando la prueba es sobrevivible. Aquí la prueba es la catástrofe. La lógica de precaución no es timidez; es el reconocimiento de que el tiempo de preparación para la cura es más largo que la mecha del problema.

Toda salvaguarda viable para una tecnología catastrófica se construyó antes o durante su ascenso, nunca después, porque «después» nunca estuvo disponible.

"Las democracias son demasiado lentas y capturadas. Nunca pasará."

La más corrosiva de las cinco en silencio, porque se viste con el manto del realismo. Mira el estancamiento, el cabildeo, la atención corta de las legislaturas, el alcance del dinero de la industria. Aunque un tratado fuera sensato, la maquinaria para producirlo está rota. Mejor ser realista que desperdiciar una década en una fantasía.

Es refutado por el registro histórico, repetidamente, y generalmente contra peores probabilidades de lo que enfrentamos ahora. La idea de que los poderes rivales firmarían sus opciones más mortíferas se llamaba ingenua, hasta que lo hicieron, en el Tratado de No Proliferación, las Convenciones sobre Armas Biológicas y Químicas, el Protocolo de Montreal, el Tratado Antártico. Adversarios que libraban guerras proxy y se llamaban mutuamente malvados aún construyeron control verificado de armas en lo más alto de la Guerra Fría. Cada uno de esos parecía imposible desde el lado cercano e inevitable solo en retrospectiva.

Y el terreno es más favorable de lo que admite el cinismo. A través de Estados Unidos, el Reino Unido y el EU, grandes mayorías ya les dicen a los encuestadores que quieren que la IA se desarrolle con cautela y se someta a reglas estrictas; el público no es el obstáculo. El obstáculo es que esa preocupación generalizada y silenciosa aún no se ha organizado en una presión que una legislatura pueda sentir. El obstáculo es una trabajo: convertir el acuerdo latente en voluntad política. Que es precisamente el trabajo que tenemos por delante.

Qué tienen en común los mitos de gobernanza

Cada objeción admite el peligro y luego encuentra un lugar diferente para renunciar: la solución es demasiado grande, o inverificable, o demasiado costoso, o demasiado temprano, o demasiado difícil de pasar. Cualquiera de ellos, tomada sola, suena como prudencia. Juntos forman una máquina cuyo único producto es la inacción, y la inacción es una opción para permitir que la tecnología más consecuente de la historia se construya sin límites vinculantes en absoluto, por un puñado de empresas competidoras, bajo la presión exacta más probable de producir el resultado que todo el mundo afirma temer, no neutral aquí.

Ninguna de estas cuestiones se resuelve insistiendo en que la gobernanza será fácil. No lo será. La verificación será controvertida, las negociaciones serán lentas y algunos gobiernos se resistirán; todo tratado difícilmente logrado en la historia tuvo esos obstáculos y aun así se construyó. La afirmación honesta es que es posible, que las piezas para construirlo ya existen y que las razones para descartarlo se desmoronan en cuanto se examinan en lugar de repetirse, no que un acuerdo sobre superinteligencia sea sencillo.

"No se puede hacer" ha estado equivocado sobre cada esfuerzo comparable que hemos hecho. La tarea es construir la voluntad política para un acuerdo vinculante y verificado que impida que los sistemas más peligrosos sean construidos hasta que puedan ser seguros. "Por tanto, renunciar" nunca ha sido la respuesta, y no es la respuesta ahora.