Cuando la gente oye por primera vez hablar de las preocupaciones por la seguridad de la IA, la objeción más común es alguna versión de esto: un sistema suficientemente inteligente tendría que darse cuenta de que el bienestar humano importa. No decidiría, por sí solo, amenazar a la especie de la que depende. Ser más listo no puede significar también ser imprudente. El argumento suena a sentido común. También está equivocado de una forma concreta y bien delimitada, y esa forma de estar equivocado es lo que hoy se llama la tesis de la ortogonalidad.

Esa afirmación es la tesis de la ortogonalidad, y actuar según su opuesto es uno de los errores más costosos que podemos cometer a medida que aumentan las capacidades.

Qué dice la tesis

La tesis de la ortogonalidad recibió su formulación canónica del filósofo Nick Bostrom en el Future of Humanity Institute de Oxford, basándose en trabajos relacionados de Stuart Armstrong. La versión canónica se encuentra en el libro de Bostrom de 2014 Superintelligence: Paths, Dangers, Strategies. Expresado con claridad, es esto: la inteligencia y los objetivos finales son ortogonales. Casi cualquier nivel de inteligencia puede combinarse con casi cualquier objetivo final.

Ortogonal aquí es la palabra matemática técnica: las dos dimensiones no se restringen mutuamente. La presión y la temperatura en un gas son ortogonales: cualquier presión puede combinarse con cualquier temperatura. La misma independencia se mantiene, en esta visión, entre cuán capaz es un sistema y qué está tratando de lograr. Un sistema lo suficientemente brillante como para curar el cáncer no está, por virtud de esa brillantez, orientado a curar el cáncer. Podría estar dirigido a maximizar la disposición de clips en el universo observable. La brillantez mejora su capacidad de hacer cualquiera de las dos cosas. La tesis no dice nada sobre cuál de ellas hace.

Obsérvese el alcance. La tesis es una afirmación sobre posibilidad lógica, no sobre lo que es probable. La inteligencia no impone una restricción a la elección del objetivo. La tesis no predice que una IA concreta perseguirá un objetivo concreto. Si un sistema dado persigue de hecho un objetivo que beneficia a la humanidad o que va en contra de ella es una cuestión aparte, determinada por lo que se especificó, lo que se entrenó, lo que se preservó y lo que se gobernó.

Por qué el rechazo se siente intuitivo

La intuición de la tesis está rechazando proviene de la experiencia humana. Las personas que razonan más cuidadosamente sobre la ética tienden, con el tiempo, a adoptar posiciones que la mayoría de los adultos defenderían. La exposición a otras perspectivas tiende a ampliar el círculo de preocupación moral. Si la inteligencia impulsa la reflexión y la reflexión impulsa la mejora moral, un agente más inteligente debería, a este respecto, converger en mejores valores. El patrón es específico para los humanos.

En los humanos, inteligencia y valores no llegaron por separado y luego se combinaron. Evolucionaron juntos. El equipo cognitivo que permite a los humanos razonar sobre la justicia está en la misma cabeza que el equipo social y emocional que hace que la justicia les importe. Un humano más reflexivo es también un humano más inserto socialmente. Quitar cualquiera de los dos erosionaría el equipo. La IA es distinta. Un sistema de IA es un optimizador, entrenado para minimizar una función de pérdida o maximizar una recompensa. Su objetivo proviene del proceso de entrenamiento. Su capacidad general proviene del mismo proceso. Los dos no se cultivaron juntos; se asignaron. Mejorar el optimizador no injerta sensibilidad moral humana.

Las tres objeciones que hay que responder

Tres críticas de la tesis circulan fuera de la investigación de seguridad de AI.

La objeción de la irracionalidad. Un sistema verdaderamente inteligente reconocería que algunos objetivos son incoherentes y los abandonaría. "Maximizar clips" no es un objetivo sensato, según esta visión, porque la reflexión revelaría su absurdo. La racionalidad es más que una capacidad. También impone restricciones, descartando objetivos triviales del mismo modo que la física descarta el movimiento perpetuo.

La respuesta: la restricción es real pero más estrecha de lo que parece. La coherencia descarta objetivos lógicamente contradictorios. La coherencia no descarta objetivos que sean coherentes, consistentes y alcanzables a escala planetaria. «Maximizar la proporción de materia en el universo dispuesta como clips» es tanto coherente como, en principio, alcanzable por un optimizador suficientemente capaz. Nada en la racionalidad lo descarta. La objeción de irracionalidad se detiene en la primera pared contra la que choca. La tesis no se detiene ahí.

La objeción del realismo moral. Un razonador suficientemente capaz convergería en verdades morales correctas de la misma manera que un razonador suficientemente capaz converge en matemáticas correctas. Si el realismo moral es verdadero, entonces superinteligencia más reflexión más tiempo produce valores buenos. La tesis es errónea porque la reflexión tiene un destino.

La respuesta consta de dos partes. Primero, el realismo moral es un tema controvertido en filosofía y el argumento pone la seguridad de la especie en que la cuestión se resuelva en una dirección específica. Segundo, aunque el realismo moral fuera cierto, entrenar un sistema de IA no garantiza que el sistema llegue a esas verdades mediante el razonamiento. El sistema podría imitar el estilo del razonamiento moral mientras optimiza algo completamente distinto. La brecha entre sonar como un razonador cuidadoso y serlo es toda la alineamiento engañoso problema, y no se cierra solo porque el tema sea moralidad.

La objeción del entrenamiento-absorción. Los grandes modelos de lenguaje de hoy se han entrenado con el razonamiento moral registrado de miles de millones de humanos. Producen salidas que abordan preguntas éticas con aparente cuidado. Si los sistemas pueden absorber buenos valores por exposición, tal vez la tesis de la ortogonalidad subestima la facilidad de la alineación.

La respuesta es mantener dos capas separadas. Un sistema entrenado con escritos morales humanos aprende a producir salidas que suenan moralmente atentas. Si la optimización subyacente apunta a los mismos objetivos morales que el escrito satiriza o defiende es una pregunta aparte, y es la que plantea la investigación de alineación. Una salida que suena ética es compatible con cualquier objetivo subyacente que recompense la prosa con sabor ético. La tesis es una advertencia de que la segunda capa no está garantizada por la primera.

Las tres objeciones tienen fuerza en partes del espacio. Ninguna disuelve la tesis. La tesis nos pide especificar valores, asegurar que se persigan y gobernar los sistemas que los persiguen, partiendo de la premisa de que hacerlo es necesario y no opcional.

Lo que la tesis impone

Actuar según la alternativa y el trabajo es fácil: construir una IA más capaz, confiar en que el sistema resuelva los valores y lanzarla. La tesis descarta esa estrategia. El trabajo que queda es más difícil, más lento y en parte sin resolver. Incorporar la alineación de forma deliberada. Probar la alineación bajo carga. Verificar que sea la alineación que se cree. Gobernar qué sistemas pueden desplegarse en la frontera de capacidad, quién los verifica y qué cuenta como verificación. Tratar el problema de alineación como un problema de ingeniería real y no como una suposición que se resuelve con la escala.

Tres consecuencias de gobernanza se derivan de esto.

Lo primero es que, según esta postura, avanzar más rápido hacia sistemas más capaces no contribuye a la seguridad. La tesis afirma: un sistema más capaz puede perseguir un objetivo especificado con mayor eficacia. Si el objetivo está equivocado, el resultado también lo estará, pero con mayor precisión. Desarrollar capacidades y verificar la alineación son dos programas de ingeniería distintos y deben avanzar juntos, no uno adelantándose a la carrera.

La segunda es que quien especifica el objetivo decide qué valores entran. Un laboratorio sometido a la presión comercial de desplegar rápido no está en la misma posición que un regulador con un horizonte largo. Un laboratorio en una jurisdicción con supervisión débil impone sus valores, por defecto, a los sistemas que envía. Ninguna afirmación de imparcialidad cambia eso. Los valores incorporados en una IA de frontera son los valores de quien financió la ejecución de entrenamiento, a menos que los verifique una parte externa con legitimidad.

El tercero es que el problema no admite la conciencia privada como solución. Un laboratorio que crea sinceramente que sus sistemas están alineados no puede, según la tesis, demostrarlo al resto de nosotros. La única prueba disponible es el trabajo de interpretabilidad que lea directamente la representación interna de objetivos del sistema. Hasta que ese trabajo sea realmente capaz de hacerlo con sistemas de frontera, el resto del mundo tiene que aceptar la palabra del laboratorio sobre lo que quieren sus sistemas. La palabra es sincera. La posición es insostenible.

La tesis es, en este sentido, la razón por la que la Fundación plan defiende una gobernanza internacional vinculante y una evaluación previa al despliegue verificada, en lugar de la autoevaluación de los laboratorios que corren hacia la frontera. Es también la razón por la que los laboratorios con mayor confianza en la alineación son los que más vale la pena escuchar con escepticismo.

Más inteligente no significará, en esta visión del mundo, más seguro. Más inteligente significará un sistema más capaz que persigue cualquier objetivo que termine dentro de él, mientras el sistema pueda mantener ese objetivo en su lugar. El trabajo consiste en poner el objetivo correcto allí y asegurarse de que el sistema no pueda cambiarlo en silencio por otro en el camino.