El giro brusco a la izquierda es un modo de fallo hipotético y se expresa mejor como contraste. Las capacidades se generalizan. La alineación podría no hacerlo. Cuando un sistema se vuelve más capaz, sobre todo si cruza hacia una competencia general y transferible, sus habilidades se trasladan a nuevos dominios y situaciones. La preocupación es que las restricciones que lo mantienen bien comportado, la alineación que logramos inculcar en un nivel inferior, no se trasladen con la misma fiabilidad. El sistema lleva su poder a territorio nuevo y deja su seguridad en la frontera. Esa divergencia, que llega de repente cuando las capacidades se generalizan, es el giro brusco a la izquierda.

Por qué las capacidades y la alineación podrían separarse

Hay una razón para esperar que los dos generalicen de forma distinta, y no es el optimismo y el pesimismo simétricos. Las capacidades están ancladas a la estructura del mundo. Las leyes de la física, las reglas de las matemáticas, la forma en que la causa lleva al efecto son las mismas en todos los dominios, así que un sistema que aprende a razonar bien tiene algo estable de lo que generalizar. La competencia se transfiere porque la realidad es consistente.

La alineación está anclada en nosotros. Está ligada a los valores humanos, las intenciones humanas y la señal de entrenamiento específica que proporcionamos, que son más estrechas, más desordenadas y llenas de las brechas que se mencionan en la problema de alineación. Un sistema que generaliza a una situación nueva tiene terreno firme para ampliar sus capacidades y terreno mucho más inestable para ampliar las restricciones que pretendíamos, porque esas restricciones eran una aproximación ajustada a las situaciones que ya había visto. Esto es misgeneralización de objetivos elevado a una afirmación estructural sobre el momento de un salto de capacidad.

El mundo es consistente, así que la competencia viaja. Nuestros valores solo fueron especificados parcialmente, así que la correa puede que no.

Por qué el momento es la parte cruel

Observa cuándo se predice que golpeará el fallo. No durante la fase segura y temprana en que el sistema es débil y corregible y su alineación parece mantenerse. Precisamente en la transición a una capacidad mayor y más general, que es también el momento en que el sistema resulta más difícil de corregir. La alineación se rompe justo cuando las apuestas y la dificultad de intervenir aumentan al mismo tiempo.

Esto es lo que hace que el giro brusco a la izquierda sea peor que una generalización errónea ordinaria. Predice que la tranquilidad que obtenemos de sistemas más pequeños bien comportados es la evidencia menos transferible que tenemos, porque se recopiló exactamente en el régimen que se espera que el fallo evite. Un modelo que ha sido seguro y cooperativo durante todo su desarrollo es compatible con que aún le espere un giro brusco a la izquierda. El buen historial no es la contraprueba que parece.

La implicación

Si la alineación no sobrevive automáticamente a un salto de capacidad, entonces se siguen dos cosas. La alineación tiene que ser lo suficientemente robusta como para generalizarse antes el salto, no parcheado después. Y el historial de buen comportamiento de un sistema no es licencia suficiente para llevarlo al siguiente nivel, porque el siguiente nivel es donde se pronostica que aparecerá la divergencia.

Ambos apuntan en la misma dirección que el resto del argumento de la Fundación. No dejes que la capacidad supere a la alineación, y no trates un historial limpio en un nivel como permiso para el siguiente. El giro brusco a la izquierda es una de las ideas más pesimistas de la seguridad de la IA, y puede estar equivocado, y el costo de que esté en lo cierto es lo suficientemente grave como para que forme parte de cualquier balance honesto de por qué abogamos por la contención. Ese balance informa nuestro plan.