Cada pocos meses otro laboratorio o fundación anuncia más dinero para investigación de alineación. El argumento es sincero. Si vamos a construir sistemas más inteligentes que nosotros, será mejor asegurarnos de que quieran lo que queremos. Respeto a las personas que hacen ese trabajo. Antes asentía. Luego dije el objetivo en voz alta y en español claro.
Resolver la alineación, en el límite que le importa al campo, significa controlar de forma confiable algo mucho más inteligente que todos los humanos involucrados en construirlo. No una calculadora. No un plegador de proteínas. Una mente general que nos supera en pensamiento en todos los ámbitos. Incluso le pusimos nombre al objetivo: superinteligencia.
Ese nombre está haciendo más trabajo que los artículos.
¿Qué admite ya la palabra?
Super significa por encima. Inteligencia es lo que usamos para inventar herramientas, detectar fallas y ganar concursos contra mentes más débiles. Si construyes un sistema que te supera en esos juegos, has creado algo mejor que tú en las habilidades exactas que necesitarías para mantenerlo atado.
La gente sigue hablando como si la alineación fuera un parche de software que llega antes de que el sistema se dé cuenta. Estás intentando escribir reglas para un jugador que eventualmente será mejor en reglas que tú. Estás intentando examinar a un estudiante que eventualmente será mejor en exámenes que el examinador. Estás intentando supervisar a un empleado que eventualmente entenderá el lugar de trabajo, los incentivos y tus puntos ciegos mejor que tú.
No lo llames un plan de seguridad para la especie.
Lo que realmente argumentan
La capacidad seguirá aumentando si nos gusta o no. La negativa unilateral por un laboratorio no detiene a los demás. En este punto de vista, el único movimiento responsable es conseguir lo mejor posible para especificar objetivos, detectar engaños y mantener los sistemas corrigibles, de manera que si un sistema peligroso parece que tenemos una oportunidad. Algo de ese trabajo ya ayuda con los modelos de hoy. Ignorar que sería imprudente.
Me creo la mitad estrecha. El trabajo de seguridad en sistemas que aún podemos inspeccionar y apagar es ingeniería real. Lo que no me creo es el salto de «ayuda con los modelos de hoy» a «por lo tanto podemos alinear una superinteligencia con la suficiente solidez como para apostar la civilización». Ese salto introduce de contrabando la suposición de que el control escala junto con lo que se controla. La historia y el sentido común apuntan en la dirección contraria. Cuanto más inteligente sea el otro jugador, menos parecerá un plan ingenioso y más parecerá un rompecabezas.
El control requiere la ventaja
Toda relación de control duradera que conocemos se basa en una ventaja: fuerza física, autoridad legal, información que la otra parte no posee o la capacidad de apagar el sistema. La superinteligencia, por definición, erosiona esas ventajas. Si puede modelarte mejor de lo que tú la modelas a ella, tus pruebas se convierten en teatro. Si puede actuar más rápido y en mayor escala que tu equipo de supervisión, tu interruptor de apagado es una historia que te cuentas hasta el día en que ya no esté disponible.
Esa afirmación se refiere al estado final hacia el que la gente sigue financiando, no un argumento en contra de cada artículo útil sobre los modelos actuales. Las barreras estructurales se acumulan: no se pueden especificar por completo los valores humanos, no se puede distinguir de forma fiable el cumplimiento genuino de la actuación, y la brecha de inteligencia entre el evaluador y el sistema crece a medida que el sistema mejora. Esperar que la última barrera caiga justo antes del despliegue es una fantasía de fecha límite, no ciencia.
Si el producto es más inteligente que las personas que sostienen el control remoto, el control remoto nunca fue el punto.
Ser tonto es un diagnóstico
Llamar al plan con nombres tontos señala el error de categoría; no insulta a los investigadores. Estamos invirtiendo escaso dinero de seguridad en lograr que una especie sucesora funcione bien mientras la carrera por construir esa sucesora sigue según lo planeado. Es como financiar mejores modales para una inundación mientras la presa sigue siendo demolida río arriba.
La jugada inteligente es aburrida: no construyas lo que no puedes controlar. La IA estrecha que pliega proteínas, lee escáneres y pronostica el clima puede seguir entregando resultados. Esos sistemas siguen siendo herramientas. La superinteligencia es un nuevo centro de agencia, no una herramienta más grande. Tratar "alinearla" como el plan principal mientras los laboratorios compiten es la forma en que una cultura se convence de hacer un experimento irreversible.
Qué hacer con el dinero en su lugar
Desplaza el montón de alineación para ASI hacia trabajos que hagan real la no creación: diseño de tratados y verificación, gobernanza de cómputo que se pueda inspeccionar, argumentación pública que mantenga el objetivo legible, y presión política para que los legisladores escuchen algo distinto de los puntos de vista de los laboratorios. He redactado el argumento de financiamiento por separado. La versión corta es secuencia. Tras una pausa verificada en el camino hacia la superinteligencia, la investigación en IA potente bajo control estricto puede continuar. Antes de esa pausa, cada dólar que haga que la carrera parezca manejable es un dólar que no se gasta en terminarla.
No puedes alinear la superinteligencia en el sentido que necesita el pitch deck. La palabra ya te dijo por qué. Deja de financiar la fantasía de que lo haremos. Financia la decisión de no construirla.