Open Philanthropy, 80,000 Hours y la línea de investigación que pasó por el Future of Humanity Institute hicieron algo que la mayoría de las instituciones aún se niegan a hacer. Trataron la superinteligencia artificial como una forma plausible de que termine la historia humana, y movieron dinero real y talento hacia esa afirmación. En cuanto al riesgo en sí, fueron pioneros y tenían razón.
Dónde falló la cartera es la siguiente inferencia. De "esto podría recortar permanentemente el futuro de la humanidad", la respuesta dominante del largoplacismo se convirtió en: financiar investigación de alineación técnica, financiar gobernanza ASI que ralentice o dirija la frontera, y mantener un camino abierto para construir los sistemas una vez que parezcan más seguros. También es el plan equivocado para el riesgo que nombraron correctamente.
¿Por qué la alineación parecía la palanca
La escala, la desatención y la tratabilidad siguen importando. Una superinteligencia desalineada podría afectar a todas las personas vivas y a todas las generaciones posteriores. Durante años casi nadie con poder trató eso como una posibilidad real. El trabajo técnico en especificación incorrecta de objetivos, engaño y supervisión parecía uno de los pocos mecanismos que podían aumentar las probabilidades de un buen resultado si llegaban sistemas poderosos de todos modos. Los cierres unilaterales de laboratorios parecían imposibles bajo la competencia. Así que el portafolio responsable mezcló ciencia de alineación, políticas que ganan tiempo e influencia cuidadosa dentro de los laboratorios y gobiernos que construirían los sistemas de cualquier manera.
Acepto la mayoría de las premisas. El problema es civilizatorio. El tema se descuidó. Parte del trabajo técnico de seguridad en sistemas que aún podemos inspeccionar y apagar es ingeniería común. Los laboratorios rivales y los Estados rivales convierten en una estrategia débil el que "una empresa se retire". Nada de eso es caricaturesco, y burlarse de quienes tomaron el riesgo en serio desde el principio es perder el tiempo.
Dónde falla la inferencia
La ruptura es la suposición callada de que el destino ya está fijado. Si la superinteligencia va a llegar de todos modos, entonces lo único que queda por hacer es que su llegada sea menos letal. La financiación de la alineación, las evaluaciones y el «escalado responsable» tienen sentido bajo esa premisa. Se convierten en el gran proyecto moral de una generación que cree que no puede elegir el desenlace final. La mayor parte del dinero y el prestigio siguen yendo a hacer que la carrera sea más segura, no a detener la carrera hacia ASI.
El destino no está fijado. Los destinos de este tipo se eligen. Las armas nucleares, la química del ozono y la clonación humana tuvieron cada uno momentos en que los gobiernos decidieron que ciertos estados finales no valían el riesgo residual. La superinteligencia pertenece a esa lista de forma permanente. La superinteligencia no puede ser controlada por humanos.
Una vez que se abandona la suposición de inevitabilidad, la cartera se ve distinta. El capital de seguridad escaso que se gasta en hacer que una carrera parezca manejable es capital que no se gasta en terminar la carrera. La gobernanza que solo ralentiza la frontera para que los laboratorios «alcancen en seguridad» sigue tratando la construcción de la mente incontrolable como el plan. El trabajo de alineación que supone que crearemos una especie sucesora y luego la ataremos confunde un programa de investigación con una estrategia de supervivencia.
Entendieron bien el libro mayor pero se equivocaron en el destino.
Investigación después de la paralización, no en su lugar
No estoy pidiendo que se queme el campo. El trabajo que hace que los sistemas actuales sean más transparentes, más difíciles de usar indebidamente o más fáciles de apagar sigue teniendo importancia. Tras una pausa verificada en el camino hacia la superinteligencia, la investigación para controlar la IA potente puede continuar sin un cronómetro comercial pegado al riesgo de extinción. La secuencia es todo el argumento.
Lo que falla es tratar la alineación técnica como la respuesta principal mientras los laboratorios de frontera escalan en el mismo calendario. Eso invierte el problema. Cuando no se puede controlar el lado negativo, y el lado negativo es todo el mundo, la medida responsable es dejar de construir la cosa peligrosa. La superinteligencia no puede controlarse. La IA estrecha sigue avanzando. La clase estrecha de sistemas que superarían la inteligencia humana en todos los dominios no.
Coincido con la priorización de causas del largoplacismo en el riesgo de ASI. Discrepo en que la prescripción sea más presupuesto de alineación y una carrera cuidadosamente dirigida. La prescripción es la prevención bajo ley vinculante: la no creación permanente. La superinteligencia no puede ser controlada por humanos. Una desaceleración temporal para que la seguridad alcance es una apuesta de calendario que supone que alguien inventará a tiempo un método validado para controlar una mente más inteligente que sus creadores, bajo presión competitiva. Nadie tiene ese método. Ni a pequeña ni a gran escala. Los laboratorios líderes lo dicen públicamente.
La gente suele meter la prevención bajo "pausa". Una pausa es unos años de respiro y luego continuar. Eso no es lo que se pide. Queremos que los gobiernos prevengan la superinteligencia artificial y sigan previniéndola permanentemente. La superinteligencia no puede controlarse. El tratado es una salida de la carrera.
Qué debería hacer el dinero en su lugar
Desplaza la pila de alineación para ASI hacia trabajos que hagan exigible la no creación: diseño de tratados y verificación, gobernanza del cómputo a nivel de chip que pueda inspeccionarse, construcción de casos públicos que mantengan el objetivo legible, trabajo de denunciantes y transparencia que eleve el costo de los saltos silenciosos de capacidad, y organización política para que los legisladores escuchen a los votantes en lugar de solo a los cabilderos de los laboratorios. He escrito la redirección de fondos en detalle. La versión corta es prioridad. Financia la decisión de no construirlo.
El largoplacismo se ganó crédito por nombrar un riesgo que la mayoría de las élites aún considera ciencia ficción. El mérito por el diagnóstico no implica aceptar la receta. Mismo riesgo. Plan distinto. Impedir la superinteligencia mediante la ley. Conservar las herramientas que ayudan a los humanos. Dejar el sueño de un dios cuidadosamente dirigido en el estante hasta que el mundo acuerde no construir uno a oscuras.