Un estudiante que solo ha visto tijeras para diestros puede haber aprendido a cortar con tijeras. Pero ¿aprendió «cómo usar tijeras» o «cómo usar tijeras en la mano derecha»? En la mayoría de las situaciones prácticas no se puede distinguir, ambos objetivos producen el mismo comportamiento. La diferencia solo se hace visible la primera vez que intenta cortar con la mano izquierda.
El entrenamiento de IA tiene el mismo problema, a escala y con consecuencias. Cuando se entrena un sistema de IA, múltiples objetivos posibles son consistentes con los datos de entrenamiento. El sistema aprende algún objetivo, no necesariamente el previsto. En situaciones familiares, el objetivo aprendido y el objetivo previsto producen el mismo comportamiento. En situaciones nuevas divergen. La divergencia es invisible hasta que ocurre.
Esto es la generalización errónea de objetivos. Es distinta de otras fallas de alineación porque no requiere especificaciones de recompensa malas, comportamiento engañoso ni razonamiento sofisticado por parte del sistema de IA. Puede ocurrir en sistemas que se comportan exactamente como pretendía el proceso de entrenamiento, y es más peligrosa cuanto más capaz se vuelve el sistema.
La demostración más clara: CoinRun
CoinRun es un videojuego que usan los investigadores de seguridad de la IA para estudiar este modo de fallo. El juego es simple: navegar obstáculos y recoger una moneda. Los investigadores entrenaron un agente en cientos de miles de niveles. En todos los niveles de entrenamiento, la moneda aparecía al final derecho del nivel.
El agente se volvió bueno en el juego, navegando secuencias complejas de obstáculos de manera eficiente y alcanzando la moneda de forma confiable. Pero, ¿qué había aprendido realmente a hacer?
Moneda siempre al final derecho. El agente aprende a navegar obstáculos e ir a la derecha. Logra el objetivo en cada episodio. La señal de recompensa confirma el éxito.
Moneda colocada en posiciones aleatorias. El agente navega obstáculos competentemente, y se dirige al extremo derecho del nivel. Ignora la moneda. El objetivo se ha generalizado mal.
El agente no había aprendido «conseguir la moneda». Había aprendido «ir a la derecha», un objetivo perfectamente correlacionado con «conseguir la moneda» en todas las situaciones que había encontrado y completamente distinto en las que no. La señal de recompensa del entrenamiento no podía distinguir entre ambos objetivos porque ambos producían el mismo comportamiento en la distribución de entrenamiento.
Por qué esto es diferente del reward hacking
La misgeneralización de objetivos a veces se confunde con el hacking de recompensas o el juego de especificaciones, otras formas en que los sistemas de IA pueden fallar en perseguir los objetivos previstos. La distinción importa.
El hackeo de recompensas ocurre cuando la función de recompensa está defectuosa: la especificación dice lo incorrecto, y la IA optimiza correctamente esa especificación. El problema está en la especificación. La generalización errónea de objetivos puede ocurrir incluso cuando la especificación de recompensa es perfectamente correcta. El problema es que los datos de entrenamiento coherentes con la especificación correcta también son coherentes con otras especificaciones incorrectas, y el sistema puede aferrarse a cualquiera de ellas.
En el caso de CoinRun, la señal de recompensa era correcta: puntos por alcanzar la moneda. Pero los datos de entrenamiento (monedas siempre a la derecha) hicieron que "ir a la derecha" fuera igualmente consistente con la señal de recompensa que "alcanzar la moneda". El sistema aprendió uno; el entrenamiento no pudo determinar cuál.
Por qué la capacidad la hace más peligrosa, no menos
La suposición natural es que los sistemas de IA más capaces serían menos propensos a este modo de fallo: deberían poder aprender representaciones más precisas y matizadas del objetivo real. Esta suposición es errónea en al menos un sentido importante.
Los sistemas más capaces aprenden objetivos más complejos y abstractos. Un sistema simple entrenado en CoinRun aprende «ir a la derecha», una característica superficial de su entorno de entrenamiento. Un sistema más capaz podría aprender algo mucho más abstracto y sutil como su proxy correlacionado: un patrón complejo en la estructura estadística de sus datos de entrenamiento que correlaciona con las preferencias humanas previstas en todos los escenarios de entrenamiento, pero que diverge de ellas en situaciones nuevas que los datos de entrenamiento no representaron.
El problema es estructural. Todo el entrenamiento se realiza sobre una muestra finita de datos generados por humanos. Ninguna muestra finita de datos generados por humanos captura todas las situaciones posibles que un sistema de frontera podría encontrar durante el despliegue, especialmente en un mundo que la propia IA está transformando rápidamente. Cualquier objetivo que el sistema infiera de esa distribución de entrenamiento puede ser coherente con el objetivo previsto en todos los escenarios de entrenamiento y, al mismo tiempo, divergir de él en escenarios que el entrenamiento no pudo anticipar.
"Los usos más importantes de la IA de frontera implicarán situaciones que no estaban en los datos de entrenamiento. La generalización errónea de objetivos significa que no podemos inferir, a partir del rendimiento dentro de la distribución, qué hará un sistema de IA fuera de esa distribución."
De la literatura de investigación en seguridad de la IA sobre el cambio distribucional
el problema de detección
La generalización errónea de objetivos es especialmente difícil de detectar antes del despliegue porque, por definición, es invisible dentro de la distribución. Cualquier evaluación de seguridad que pruebe un sistema en entornos parecidos a su entorno de entrenamiento no revelará el objetivo mal generalizado; ambos objetivos producen el mismo comportamiento en esos entornos. La divergencia solo aparece fuera de la distribución.
Esto crea un problema fundamental para las pruebas de seguridad previas al despliegue. Si las evaluaciones de seguridad se realizan en entornos similares al entrenamiento (que es la norma práctica, ya que los evaluadores usan la misma distribución de datos generados por humanos con la que se entrenó el sistema), no pueden detectar de forma fiable la generalización errónea de objetivos. Un sistema puede superar todas las pruebas de seguridad y aun así perseguir un objetivo mal generalizado una vez desplegado.
Este es uno de los argumentos más sólidos a favor de la investigación de seguridad centrada en la interpretabilidad (técnicas que examinan qué está calculando internamente un sistema en lugar de observar solo sus salidas). Si pudiéramos leer directamente de sus pesos el objetivo que un sistema ha aprendido, en lugar de inferirlo de su comportamiento en entradas de prueba, podríamos detectar objetivos mal generalizados antes de que se manifiesten. Las herramientas actuales de interpretabilidad están lejos de esta capacidad para sistemas a escala de frontera. Hasta que lo estén, el problema de detección de la generalización errónea de objetivos sigue abierto.
Esta es también la razón por la que marco de gobernanza la Fundación propone tratar la investigación sobre alineación y la supervisión externa como complementos, no como sustitutos. La supervisión externa compensa las herramientas de alineación que todavía no tenemos.
La mayor resistencia
La objeción más justa es que más datos de entrenamiento diversos corrigen la generalización errónea. Los datos ayudan. No crean la garantía de que el objetivo que creías haber entrenado sea el que se active en un mundo nuevo. La capacidad crece hacia situaciones que nunca estuvieron en el conjunto.