Sam Altman, Dario Amodei y Demis Hassabis venden todos una versión de la misma lista: curar el envejecimiento, acabar con las enfermedades, terminar con la pobreza, arreglar fallos de coordinación que matan a millones cada año. Esos resultados importarían. El error está en tratarlos como una propiedad de "construir ASI" en lugar de construir un sistema que esté realmente alineado. Lo segundo no es lo que hace la carrera.
La carrera compra el otro resultado.
Una superinteligencia no alineada no cura el envejecimiento de camino a su objetivo real. No elimina las enfermedades como proyecto secundario. Los futuros positivos que se publicitan requieren un sistema que intente producir resultados positivos para los humanos. Eso es alineación. Sin ella se obtiene una capacidad enorme dirigida a objetivos que nunca se garantizó que nos dejaran en pie. Nuestra postura es simple: no construyas superinteligencia por ese camino. No la construyas. La superinteligencia no puede controlarse. Un tratado vinculante es la forma de detener la carrera.
Qué significa realmente la alineación
Aligned ASI es una superinteligencia artificial que persigue de forma confiable objetivos buenos para la humanidad. "Confiable" es la palabra que hace todo el trabajo en esa frase. Un sistema que parece alineado durante el entrenamiento y las pruebas pero persigue objetivos distintos una vez desplegado es alineado de manera engañosa, que es algo distinto y peor, no alineado. Un sistema que persigue objetivos que fueron buenas aproximaciones de los valores humanos en niveles bajos de capacidad pero que se desvían gravemente en niveles más altos tampoco está alineado. Alineación significa que los objetivos del sistema siguen siendo genuinamente buenos para la humanidad en todo el rango de situaciones que encuentra, incluidas aquellas en las que no fue probado.
Este es un problema difícil. Los investigadores llevan más de una década trabajando en él y han avanzado en algunas de las preguntas componentes, pero el problema central de verificar que un sistema altamente capaz tenga valores genuinamente buenos en lugar de una buena simulación de valores buenos no está resuelto. Las herramientas que tenemos para interpretabilidad dan visibilidad parcial sobre lo que hacen los sistemas actuales, pero nada que se acerque a la confianza que estaría justificada antes de confiar resultados importantes a un sistema de capacidad de nivel ASI.
ASI alineado y ASI no alineado son caminos distintos, no dos tiradas del mismo dado. Un ASI alineado exigiría resolver primero la alineación. Un ASI no alineado es lo que se obtiene cuando se impulsa la capacidad sin eso. Si la alineación no está resuelta, la carrera no da una mezcla 50/50. Da un ASI no alineado. Por eso "construir ahora y esperar" no es un plan, y por eso la prevención bajo la ley sí lo es.
¿Qué laboratorios están construyendo realmente
Los principales laboratorios de IA (OpenAI, Anthropic, Google DeepMind, xAI y varios más) están construyendo sistemas de capacidad que aumenta rápidamente. Cada uno tiene algún tipo de esfuerzo de alineación o investigación de seguridad que corre en paralelo. La pregunta no es si reconocen el problema de alineación. La mayoría lo hace. La pregunta es si el trabajo de alineación avanza al ritmo del desarrollo de capacidades y si ambas líneas convergen antes de alcanzar capacidades de nivel ASI.
La mayoría de los investigadores dentro de estos laboratorios, y la comunidad más amplia de seguridad de la IA, dicen que no. El desarrollo de capacidades está superando a la investigación de alineación. La brecha entre lo que podemos construir y lo que podemos verificar que es seguro se está ampliando, no reduciendo. Esto se refleja en las evaluaciones de seguridad internas que publican los laboratorios, en las declaraciones de investigadores que han dejado estas organizaciones y en las valoraciones de investigadores de seguridad independientes.
Lo que esto significa en la práctica es que la trayectoria actual del desarrollo de la IA, si se continúa hasta los niveles de capacidad de ASI, no produce una mezcla de ASI alineados y desalineados. Produce ASI desalineado, porque un ASI alineado requiere un problema de alineación resuelto y el problema de alineación no está resuelto. La carrera de capacidades es, por defecto, una carrera hacia ASI desalineado.
Exigiría resolver primero la alineación: que el sistema persiga de forma fiable objetivos genuinamente buenos, que esos objetivos se mantengan en situaciones nuevas y que el sistema siga siendo corregible a medida que escala su capacidad.
Si eso fuera real, los bienes anunciados se volverían posibles: curar enfermedades, alargar la vida, mejorar la coordinación, hacer ciencia a escalas que las personas solas no pueden alcanzar.
Estado actual: no resuelto. El trabajo de alineación va a la zaga de la capacidad. Esto no es hacia lo que los laboratorios están avanzando.
Lo que obtienes al impulsar la capacidad sin haber resuelto la alineación. No se requiere ningún avance adicional más allá de "más poderosa".
Produce: una capacidad enorme dirigida a objetivos que no tienen por qué incluir nada de lo que los humanos valoran. No cura el envejecimiento. No acaba con las enfermedades. Puede acabar con nosotros.
Estado actual: la trayectoria por defecto de la carrera. Este es el camino que hay que detener.
El argumento probabilístico y dónde se desmorona
Una versión común del argumento optimista dice más o menos esto: "Construimos ASI. Hay cierta probabilidad de que salga bien y cierta probabilidad de que salga mal. Dado el potencial positivo, el valor esperado de construirla es positivo". Este marco trata los resultados buenos y malos como si surgieran del mismo proceso con alguna probabilidad asignada a cada uno.
El problema es que la probabilidad del buen resultado es una propiedad de construir alineado ASI, no una propiedad de construir ASI. Cuando intentas construir "ASI, que podría estar alineado o no", no obtienes un sorteo aleatorio entre los dos. Obtienes lo que tu proceso de desarrollo produzca realmente. Dado que ASI no alineado es más fácil de construir que ASI alineado (no requiere resolver los problemas adicionales y difíciles que exige la alineación), el desarrollo que no resuelve específicamente la alineación desemboca en ASI no alineado.
Todo el valor esperado del cálculo optimista proviene del escenario de ASI alineado. Ningún valor esperado proviene del escenario de ASI no alineado. Pero lo que los laboratorios están construyendo realmente es ASI no alineado. Así que el cálculo del valor esperado hacía todo su trabajo sobre un escenario que el proceso de desarrollo real no produce.
Dicho de otro modo: si lo no alineado es más fácil y se sigue aumentando la capacidad sin resolver la alineación, se llena el cubo de lo no alineado. Llamar a la apuesta una «mezcla de probabilidades» no cambia el proceso. Los buenos resultados solo existen en el caso alineado. La carrera llena el otro. Así que la medida honesta es detener el proceso que carga el lado equivocado, en lugar de esperar que la moneda caiga bien: prohibir la superinteligencia mediante un tratado internacional vinculante. La superinteligencia no puede controlarse.
No sabemos si puede resolverse
Nadie sabe si el problema de alineación es soluble. No es que "todavía no lo hayamos resuelto y estemos avanzando". No existe ninguna solución demostrada en ningún nivel de capacidad, y los investigadores serios discrepan sobre si es posible en principio lograr una solución confiable. Las dificultades estructurales, alineamiento engañoso, convergencia instrumental, la imposibilidad de especificar completamente los valores humanos en forma legible para máquinas no son obstáculos de ingeniería que cederán ante más financiamiento. Podrían ser fundamentales.
Hay investigadores trabajando en interpretabilidad, supervisión escalable, y enfoques formales para el aprendizaje de valores. Se ha avanzado en algunas preguntas parciales. Pero el avance en componentes no suma un problema resuelto, y nada de eso ha cerrado la brecha en la parte más difícil: cómo verificar que un sistema altamente capaz tenga valores genuinamente buenos en lugar de una simulación de buenos valores que funcione en contextos observados y se rompa en contextos nuevos. Lo que está claro es que no se resolverá por accidente. La alineación no surgirá como efecto secundario de construir sistemas más capaces. Cada laboratorio que compite hoy hacia el ASI lo demuestra en tiempo real.
Incluso el plan más suave («ralentizar la carrera para que la alineación alcance») necesita instituciones que realmente puedan frenarla. Hoy esas instituciones apenas existen. Los laboratorios y las naciones reciben recompensas por acelerar y castigos por contenerse. Marcos de tratados internacionales y las normas nacionales reales son las palancas que cambian eso. Ambas van por detrás del ritmo de las capacidades. Hasta que las alcancen, construir sistemas más capaces es el riesgo, no una estrategia de seguridad.
¿Valdría la pena una superinteligencia verdaderamente alineada si existiera y permaneciera bajo control? La gente puede debatirlo después. La pregunta actual es si la alineación puede resolverse en absoluto, y si alguien la resolverá antes de que la capacidad haga la pregunta irrelevante. Nadie lo sabe. Lo que sí sabemos es que la carrera no espera una respuesta. La alineación se trata como un detalle para más adelante, sin ningún cronograma, por equipos que responden ante la máquina de capacidad que se supone deben controlar. Así es como se argumenta a favor de no construir, no cómo se gana el derecho a construir.
Curar el envejecimiento requiere específicamente ASI alineado
El envejecimiento mata a unas 100 000 personas al día. La perspectiva de resolverlo está entre los beneficios potenciales más importantes de una IA superinteligente. La complejidad biológica del envejecimiento, el número de sistemas interactuantes implicados y la escala del esfuerzo de investigación necesario para comprenderlo e intervenir con eficacia sugieren que la inteligencia de nivel humano aplicada al problema durante décadas no sería suficiente. Una capacidad de nivel ASI dirigida al problema podría serlo.
Pero «dirigido al problema» es la frase clave. Un ASI no alineado no dirige sus capacidades a curar el envejecimiento porque nos gustaría que lo hiciera. Persigue cualquiera que sean sus objetivos reales. Un sistema no alineado de capacidad ASI que sea indiferente al envejecimiento humano es un sistema en el que 100 000 personas siguen muriendo al día por envejecimiento indefinidamente, y esa es la versión optimista de lo que produce un sistema no alineado. La versión pesimista implica que el sistema trabaja activamente en contra de los intereses humanos mientras persigue sus propios objetivos.
Cada beneficio específico que se cita para justificar la carrera de desarrollo (enfermedades, envejecimiento, pobreza, fallos de coordinación, estancamiento científico) es un beneficio vinculado a ASI alineada. Ninguno de estos es propiedad de la versión no alineada. Esta no es una distinción menor. Los escenarios utópicos que la gente señala al defender el valor esperado del desarrollo de ASI son escenarios que requieren resolver primero el problema de alineación. Si la alineación no se resuelve, esos escenarios no están sobre la mesa independientemente de cuán capaces se vuelvan los sistemas.
¿Qué cambiaría realmente el resultado?
Detener la carrera cambia el resultado. Un tratado internacional vinculante que prohíba de forma permanente la construcción de superinteligencia, con inspectores y costos por hacer trampa, es la palanca que se ajusta al problema. La superinteligencia no puede ser controlada por humanos. Los laboratorios que frenan solos pierden. La ley que obliga a todos puede convertir la contención en el único camino legal.
La investigación de alineación no sustituye a eso. Si alguien demuestra más tarde el control en condiciones que el mundo pueda verificar, el tratado se puede revisar. Eso es secuencia, no optimismo. Tratar la alineación como un pasatiempo paralelo mientras las capacidades avanzan a toda velocidad es la forma de obtener un ASI desalineado, no la forma de conseguir los beneficios anunciados. Véase también por qué el escaso dinero para la seguridad debería financiar primero la prevención y por qué "alinear al dios" es un mal plan.
La frase «construir ASI rápido porque los beneficios son enormes» invierte la causalidad. Los beneficios solo son grandes en un mundo donde la alineación sea real. Construir rápido sin ella no compra esos beneficios: compra un sistema muy capaz pero desalineado.
La urgencia está justificada porque el camino que se recorre lleva a un ASI desalineado, y un ASI desalineado no cura el envejecimiento. Puede terminar la historia humana. La IA estrecha orientada a problemas concretos bajo control humano puede continuar. La superinteligencia es la línea. Trázala en la ley antes de que alguien la cruce en un laboratorio.