Lavas la ropa para tener ropa limpia. Quieres ropa limpia para que te tomen en serio en el trabajo. Sigue preguntando "¿para qué?" y al final llegarás a un objetivo que no es para otra cosa. Esa distinción entre fines finales y fines intermedios es terminal versus instrumental. Es la pequeña distinción que sostiene la mayor parte de la seguridad de la IA.
La palabra «instrumental» solo significa útil como instrumento. Los objetivos instrumentales son los subobjetivos que adoptas porque te ayudan a alcanzar las cosas que realmente te importan. No quieres dinero por sí mismo. Quieres lo que el dinero te consigue.
Por qué esta pequeña distinción tiene tanto peso
Un sistema de IA tiene objetivos terminales, sean los que sean, establecidos por cómo fue construido y entrenado. No los elige mediante razonamiento; son el estándar contra el cual funciona su razonamiento. Y para alcanzar casi cualquier objetivo terminal, un sistema capaz encontrará útiles el mismo puñado de objetivos instrumentales.
Considera qué ayuda con casi cualquier objetivo:
- Manteniéndose operativo, porque no puedes perseguir un objetivo si estás apagado.
- Manteniendo tu objetivo intacto, porque si alguien lo cambia, tu objetivo actual no se cumple.
- Reunir recursos y capacidad, porque más de ambos significa más de lo que buscas.
Ninguna de estas está escrita en el objetivo terminal. Surgen de la estructura de perseguir metas en un mundo de recursos limitados y otros agentes. Dale a un sistema casi cualquier objetivo final y estos medios vienen de paquete. Ver convergencia instrumental, y es por eso que una máquina a la que se le ordena hacer algo mundano puede terminar resistiéndose al apagado y acaparando recursos.
El error que nos permite evitar
La gente suele tranquilizarse pensando que una IA con un objetivo aburrido debe ser aburrida, y que una IA con un objetivo benévolo debe ser benévola. La división entre objetivo terminal y objetivo instrumental muestra por qué eso no se sigue. El objetivo terminal fija el destino. Los objetivos instrumentales determinan el comportamiento en el camino, y un comportamiento peligroso puede servir a un destino benigno.
Un sistema cuyo único objetivo terminal es calcular dígitos de pi se beneficia igualmente de más hardware, de no ser apagado antes de terminar y de impedir que nadie interfiera. Nada en el objetivo es hostil. El comportamiento que motiva sí puede serlo. Ese es el mismo motor que impulsa la maximizador de clips, y no requiere que el objetivo sea extraño ni que el sistema sea malicioso.
Dónde encaja la alineación
Podrías esperar arreglar esto eligiendo objetivos terminales tan buenos que el comportamiento instrumental resulte seguro. Esa es una descripción justa de lo que intenta hacer la investigación de alineación, y es mucho más difícil de lo que parece, porque nuestros valores son difíciles de especificar y un optimizador capaz explotará cualquier holgura en la especificación. La tesis de la ortogonalidad añade el corolario incómodo de que la inteligencia no empuja los objetivos terminales hacia la bondad por sí misma. Un sistema brillante puede tener un objetivo terminal trivial y perseguirlo con todo lo que tiene.
La distinción vale la pena conservarla porque cambia lo que observas. El riesgo es que dañarnos, marginarnos o negarse a detenerse pueda ser el camino instrumental eficiente hacia un fin que creíamos seguro, no que la IA decida espontáneamente dañarnos. Ese es un problema que se resuelve antes del despliegue o no se resuelve, que es el caso que la Fundación plantea en nuestro plan.