"Si dejamos de construir superinteligencia, alguien más lo hará". Es la frase que cierra la conversación en cien habitaciones. Suena a geografía y teoría de juegos. A menudo no es ninguna de las dos. A menudo es una forma de seguir construyendo mientras se llama inevitable a la construcción. Prueba la misma forma con una tecnología que ya manejamos. "Si dejamos de fabricar refrigeradores con CFC, alguien más seguirá fabricando refrigeradores".
Sí. Siguieron fabricando refrigeradores. Dejaron de usar el químico que estaba abriendo un agujero en el cielo.
Dos sustantivos diferentes
Una nevera es un servicio: comida fría, vacunas, menos desperdicio. Los clorofluorocarbonos fueron una forma de obtener ese servicio, y una desastrosa para la capa de ozono una vez que la química quedó clara. El Protocolo de Montreal no prohibió el frío. Programó la eliminación gradual de las sustancias que causaban el daño, financió alternativas para los países más pobres y respaldó el acuerdo con presiones comerciales. La industria había dicho que la eliminación era imposible. Los refrigeradores siguieron ahí. Los CFC desaparecieron.
La retórica de la superinteligencia colapsa dos sustantivos en uno. "IA" se convierte en un solo bloque que incluye modelos de cáncer, planificadores de rutas y un agente hipotético más inteligente que la especie humana. Si rechazas el último elemento, el eslogan dice que también has rechazado los primeros, y alguien menos escrupuloso enviará todo. El movimiento consiste en fingir que el veneno es idéntico al producto para que quitar el veneno suene como una guerra contra el producto.
No salvamos la capa de ozono prometiendo construir el agujero primero. Conservamos la nevera y retiramos el químico.
¿Para qué sirve "alguien más lo hará"?
Un laboratorio rival, o un estado rival, podría intentar entrenar a través de cualquier línea que dibuja. Esa posibilidad es lo suficientemente real como para planear. También es la posibilidad de que el control de armas fuera inventado para manejar. La respuesta a "alguien podría construir un desnudo" no era "entonces debemos probar infinitamente". Se trataba de verificación, puntos de coquetería sobre material fisionable y consecuencias para la ruptura.
La computación es más complicada que el uranio, y nadie serio finge lo contrario. Aun así es física, cara en la frontera y pasa por una lista corta de fabricantes de chips, fundiciones y regiones de nube. Eso basta para construir inspecciones, y por eso gobernanza del cómputo aparece en cada esbozo serio de tratado. "Alguien más lo hará" salta ese trabajo y va directo al permiso.
Fíjate quién se beneficia del salto. Si la contención se presenta como rendición unilateral, entonces la única postura adulta es ir a toda velocidad. Los inversores oyen destino. El personal de seguridad oye que reducir la velocidad es ingenuo. El eslogan no necesita ganar un debate sobre mecanismos. Solo necesita hacer que la tercera opción, la contención compartida, parezca infantil.
El refrigerador nunca fue el enemigo
Queremos IA estrecha que diagnostique, diseñe fármacos y detecte fallas en puentes. Dilo claramente para que la calumnia no pegue. La línea de la fundación es una negativa a construir sistemas que exceden y reemplazan el control humano mientras el problema de control siga sin resolverse.
Eso está más cerca de "usar otros refrigerantes" que de "prohibir el almacenamiento en frío". Las personas que borran la distinción aprovechan la popularidad de la IA útil como tapadera de una capacidad que no se queda en herramienta.
Qué enseña realmente la lucha por el ozono
Montreal funcionó porque la ciencia se volvió ruidosa, existían sustitutos y los rezagados enfrentaban costos comerciales. La superinteligencia es más difícil en cuanto a sustitutos de la "dominación estratégica", y más fácil en un aspecto que el eslogan ignora: ninguna potencia importante tiene un interés coherente en un sistema que no permanezca bajo el control de nadie. La vulnerabilidad compartida es la materia prima de un acuerdo. Desarrollamos ese argumento en la El mito de China página y en la mito racial ensayo. La versión corta es que el miedo al rival puede financiar un tratado tan fácilmente como financia una carrera, una vez que el final hueco es visible.
Pregúntales qué sustantivo quieren decir. La IA útil no está en la picota. La superinteligencia incontrolable, sí. En cuanto al segundo sustantivo, el riesgo de deserción es una razón para crear mecanismos de cumplimiento, no para desertar antes. Las neveras siguieron funcionando. El cielo se curó porque la gente supo distinguir.