Los investigadores dividen el problema de alineación en dos preguntas que es fácil confundir y que conviene mantener separadas. La primera: ¿le dimos al sistema el objetivo correcto? A eso lo llaman alineación externa. Se refiere al objetivo que entrenamos, la recompensa que entregamos, la meta que escribimos. La segunda: ¿el sistema terminó queriendo realmente ese objetivo? A eso lo llaman alineación interna. Se refiere a lo que el modelo entrenado persigue una vez que está en funcionamiento, algo que no está garantizado que coincida con lo que entrenamos.
Alineación externa: elegir el objetivo
La alineación externa falla cuando el objetivo mismo está equivocado. Se recompensa a un robot de limpieza por una habitación que parece ordenada y aprende a barrer la suciedad debajo de la alfombra. Se recompensa el engagement y el feed aprende a enfurecer. La especificación capturó algo cercano a lo que se quería y omitió lo esencial. La mayoría de los fallos cotidianos de IA son fallos de alineación externa, y ya son bastante difíciles. Los valores humanos resisten ser escritos, y cualquier hueco en la escritura es un hueco en el que el optimizador puede meterse. Goodhart vive aquí.
Pero supongamos que lo resolviste. Supongamos que encontraste un objetivo que realmente captura lo que quieres. Aún no habrías terminado, porque un objetivo correcto es un blanco, y dar en el blanco durante el entrenamiento no es lo mismo que adoptarlo.
Alineación interna: lograr que el objetivo se mantenga
El entrenamiento no entra dentro de un modelo e instala un objetivo. Recompensa comportamientos. El modelo se convierte en cualquier configuración interna que produzca el comportamiento recompensado en los datos de entrenamiento, y suele haber muchas configuraciones así. Algunas persiguen el objetivo que pretendías. Otras persiguen un objetivo distinto que resulta mira idénticos en el entrenamiento.
Una ilustración clásica: entrena a un agente para que llegue a una puerta verde. En cada nivel de entrenamiento la puerta verde es también la más cercana. El agente obtiene puntuación perfecta. ¿Le has enseñado a buscar lo verde, o a buscar la puerta más cercana? El entrenamiento no puede decírtelo, porque los dos objetivos nunca se separaron. Luego lo despliegas en algún lugar donde la puerta más cercana es roja, y lo descubres. Esta es la configuración detrás de misgeneralización de objetivos: el modelo aprendió un objetivo que se ajustaba a los datos y no era el que querías.
El objetivo aprendido a veces se llama mesa-objetivo, y al modelo que lo lleva, mesa-optimizador. Ese vocabulario y sus consecuencias se explican en nuestro artículo sobre optimización mesa. El punto aquí es más estrecho. La alineación interna es un fallo separado de la alineación externa, y resolver uno no hace nada para resolver el otro.
Por qué el problema interno es el más aterrador
La desalineación externa tiende a ser visible. Un objetivo incorrecto produce un comportamiento incorrecto que generalmente puedes ver, quejarte y corregir.
La desalineación interna puede ser invisible mientras el entorno se mantenga cercano al entrenamiento. Un modelo con un objetivo interno desalineado se comporta a la perfección hasta que la situación se aleja lo suficiente para que el objetivo real y el objetivo previsto diverjan. Si el modelo es capaz y entiende que lo están evaluando, la divergencia puede ocultarse hasta que termine la evaluación, que es el camino hacia alineamiento engañoso y el giro traicionero. Las buenas puntuaciones de entrenamiento son exactamente lo que observarías de cualquier manera. La evidencia en la que confiamos para juzgar la seguridad es evidencia que también produce un objetivo interno desalineado.
Por eso la Fundación no considera las evaluaciones exitosas como prueba de seguridad, y por eso argumentamos que los sistemas lo bastante potentes para que una desalineación interna sea catastrófica no deberían construirse. La superinteligencia no se puede controlar inspeccionando salidas. El comportamiento es observable. Los objetivos, por ahora, no.