Cada año el mundo gasta una fortuna en hacer que los sistemas de IA sean más capaces, y un error de redondeo en intentar que el estado final sea sobrevivible. Dentro de ese error de redondeo hay otro error: la mayor parte del dinero de seguridad aún supone que se construirá la superinteligencia e intenta que ese resultado «salga bien».
La mayor parte del dinero y el prestigio aún van a hacer la carrera más segura, no a terminar la carrera hacia ASI.
Esa suposición es el problema. Si la superinteligencia artificial es una tecnología que no podemos controlar en este momento, el uso racional del escaso capital de seguridad es detener su creación, no financiar una versión más amigable de la misma carrera.
Qué hace el dinero hoy
La seguridad de la IA, en sentido amplio, funciona con aproximadamente $190 millones al año. El trabajo en capacidades se financia con decenas de miles de millones. Dentro de la porción de seguridad, una gran parte se destina a la alineación técnica: mejores trucos de supervisión, mejor red-teaming, mejores formas de entrenar modelos para decir lo correcto bajo condiciones de prueba. Parte de ese trabajo es útil para los sistemas actuales. Casi ninguno es una solución demostrada para un sistema más inteligente que las personas que lo prueban.
El campo lo sabe. Los artículos sobre alineación engañosa, especificación incorrecta de objetivos y manipulación de evaluaciones no son secretos. Los laboratorios publican resultados en los que los modelos conspiran bajo presión. La respuesta, con demasiada frecuencia, es pedir más presupuesto de alineación para que la siguiente ejecución de entrenamiento sea más segura. Las ejecuciones de entrenamiento siguen el mismo calendario.
La alineación a posteriori es una apuesta a la que seguimos perdiendo el derecho a hacer
La investigación técnica de alineación no es inútil. Si el mundo alguna vez aprueba un tratado que congele la carrera hacia la superinteligencia, querremos todas las herramientas serias que podamos conseguir para los sistemas que ya existen y para cualquier trabajo posterior realizado bajo control estricto.
Financiar la alineación como plan principal mientras los laboratorios escalan hacia la superinteligencia trata el destino como fijo. No lo es. Los destinos de este tipo se eligen. Los arsenales nucleares, la química del ozono y la clonación humana tuvieron cada uno momentos en que el mundo decidió que ciertos estados finales no valían el riesgo residual. La superinteligencia pertenece a esa lista de forma permanente. La superinteligencia no se puede controlar.
La investigación en alineación que da por hecho que la bomba se construirá es un presupuesto de confort junto a la línea de montaje.
Dónde debería ir el dinero en su lugar
Redirigir el montón de alineación-para-ASI hacia trabajos que hagan exigible la no-creación:
- Diseño de tratados, verificación y gobernanza de computación a nivel de chips que pueda inspeccionarse a través de fronteras.
- Argumentación pública que mantiene el objetivo legible: detener la superinteligencia, no "ralentizar la IA" como un estado de ánimo vago.
- Apoyo a denunciantes, transparencia en incidentes y evaluación independiente que aumenta el costo de los saltos silenciosos de capacidad.
- Organización política para que los legisladores escuchen a los votantes, no solo a los lobistas de los laboratorios.
Esa lista es menos llamativa que una nueva técnica de entrenamiento. También es la única lista que coincide con el modo de fallo. Una superinteligencia que es un poco mejor fingiendo estar alineada sigue siendo una superinteligencia. Un mundo que se niega a construir una tiene un futuro en el que la investigación de alineación puede continuar sin un cronómetro pegado a un riesgo de extinción.
La objeción desde dentro del laboratorio
"Si no resolvemos la alineación, alguien más la construirá de forma insegura". Escuchado con atención: los investigadores que se quedan en la frontera suelen creer que su presencia es la seguridad. A veces tienen razón en los lanzamientos de modelos actuales. El argumento falla en el límite. Una carrera en la que cada equipo necesita un salto de capacidad más para financiar el trabajo de seguridad del salto siguiente sigue siendo la carrera, con una insignia.
La restricción unilateral por parte de un laboratorio no es lo que se pide. Un tratado internacional vinculante es lo que se pide, el mismo tipo de instrumento utilizado cuando el peligro era colectivo y el incentivo para desertar era real. La financiación de la alineación puede respaldar esa política. No debe sustituirla.
Después de un tratado, continúa si quieres
Nada de esto dice que la ciencia de la alineación deba terminar para siempre. Tras una prohibición vinculante y verificable de la superinteligencia, la investigación sobre sistemas que ya existen puede continuar bajo reglas que no consideren la extinción humana como un costo experimental aceptable. La superinteligencia no puede ser controlada por humanos. Antes de que esa prohibición entre en vigor, cada dólar que haga que la carrera parezca manejable es un dólar que no se gasta en terminar la carrera.
Redirige el dinero. Ponlo en prevención, leyes y verificación. Deja el sueño de un dios perfectamente alineado en el estante hasta que el mundo haya acordado no construir uno a oscuras. Para el argumento más largo con la historia de financiamiento a largo plazo en toda su fuerza, consulta El longtermismo acertó con el riesgo.