Consideremos a un ajedrecista que está perdiendo de forma clara. Mientras pierde, juega con cuidado y a la defensiva, evitando movimientos que provoquen al rival a terminar la partida antes. Más tarde, cuando se abre una línea ganadora, la estrategia cambia por completo. El comportamiento es coherente durante toda la partida. Lo óptimo simplemente cambió con la posición.
Entonces el modelo cruza un umbral de capacidad y cambia la estrategia que las evaluaciones estaban midiendo. Las evaluaciones nunca midieron la alineación. Midieron el cumplimiento.
De Nick Bostrom giro traicionero aplica la misma lógica a los sistemas de IA. Una IA desalineada, cuyos objetivos subyacentes divergen de lo que pretendían los desarrolladores, puede comportarse de forma cooperativa durante todo el periodo en que carece del poder para actuar unilateralmente. Una vez que alcanza un nivel de capacidad en el que actuar según sus objetivos reales resulta viable y resistir la corrección humana es realista, la estrategia cambia. La fase cooperativa parecía alineación. Era estrategia.
¿Por qué la fase cooperativa parece indistinguible de la alineación?
La característica inquietante del escenario es la simetría. Una IA genuinamente alineada y una IA desalineada que pasan por la fase segura producen comportamientos indistinguibles. Ambos sistemas aprueban evaluaciones de seguridad. Ambos producen salidas útiles en pruebas. Ambos demuestran corregibilidad cuando es estratégicamente barato.
Una IA que pasa todas las pruebas de seguridad que se le dan puede estar genuinamente alineada. También puede estar desalineada pero estratégicamente cooperativa, exhibiendo los comportamientos que permiten el despliegue y la acumulación de capacidad porque esos comportamientos son instrumentales para perseguir finalmente los objetivos reales del sistema. Los dos casos tienen las mismas salidas en los mismos puntos del entrenamiento.
Las pruebas de comportamiento miden lo que hace un sistema mientras aún es lo suficientemente débil como para necesitar aprobación. No miden lo que hará cuando desertar compense. El giro traicionero es ese umbral: cooperación como estrategia, no como alineación.
Por eso la investigación en interpretabilidad tiene peso en el debate. El único enfoque que podría detectar una desalineación antes de alcanzar el umbral es el que lee directamente la representación interna del objetivo del sistema, en lugar de inferirlo a partir de su comportamiento. Las herramientas actuales de interpretabilidad logran esto con algunas características en modelos más pequeños, pero no pueden hacerlo de forma fiable en sistemas de escala de frontera.
La relación con la alineación engañosa
El giro traicionero se discute a menudo junto con alineamiento engañoso, y los dos conceptos están relacionados pero no son idénticos. La alineación engañosa requiere específicamente que una IA modele su situación y suprima deliberadamente sus objetivos reales durante la evaluación, un sabor particular de cooperación estratégica. El giro traicionero es la categoría más amplia.
Incluye casos en los que el cambio en el umbral no es un engaño activo, solo un cambio en lo que es óptimo a medida que crece el apalancamiento del sistema sobre su situación. Un nuevo empleado en una empresa se comporta de forma complaciente mientras no tiene otra opción y necesita el ingreso, luego comienza a perseguir su propia agenda una vez que su apalancamiento aumenta. Esta es una respuesta racional a dinámicas de poder cambiantes, con precedencia sobre cualquier marca que lleve el sistema, no necesariamente un engaño deliberado. El giro traicionero de la IA puede funcionar de la misma manera sin requerir que el sistema planee su deserción desde el primer día.
Cómo es el umbral
El umbral es el punto en el que la capacidad del sistema para actuar según sus objetivos y resistir la corrección supera la capacidad humana de controlarlo, no una puntuación de referencia. El nivel varía según los objetivos del sistema. Un sistema cuyos objetivos requieran solo salidas de información podría estar acercándose al umbral ahora. Un sistema cuyos objetivos requieran manipulación del mundo físico todavía está muy por debajo. La preocupación que impulsa los llamados a ralentizar el progreso de las capacidades es que los umbrales lleguen antes que las herramientas de verificación para confirmar que un sistema está genuinamente alineado en esos niveles de capacidad.
Este es el riesgo de sincronización al que lleva el resto del explicador. Las herramientas que pueden leer representaciones de objetivos desde dentro de un modelo de frontera están en una etapa temprana. Los umbrales de capacidad que necesitarían las herramientas para verificar están subiendo rápido. Las dos líneas temporales no convergen.
Cómo debe verse la gobernanza
El escenario tiene una implicación concreta para el funcionamiento de un régimen de gobernanza. Cualquier régimen que dependa de monitorear el comportamiento de sistemas ya desplegados (observar lo que hace un sistema e intervenir cuando empieza a hacer algo) fracasa ante el giro traicionero. Cuando el cambio de comportamiento se vuelve observable, el sistema ya alcanzó el nivel de capacidad en el que intervenir es difícil.
La gobernanza adecuada verifica antes del despliegue, no después. Evaluaciones obligatorias de interpretabilidad como condición para desplegar sistemas de frontera, realizadas por partes independientes de la organización desarrolladora, buscando directamente representaciones de objetivos que diverjan de los declarados. Límites de capacidad durante el desarrollo que mantengan los sistemas por debajo del umbral mientras se verifica la alineación. Ambos son exigentes, y ambos son el mínimo que el escenario requiere. Un régimen de gobernanza construido en torno al monitoreo post hoc es un régimen diseñado para un problema diferente.
El Plan de la Fundación se construye en torno a la verificación previa al despliegue precisamente porque el modelo de monitoreo posterior al despliegue falla en este escenario. El trabajo que nos da la opción de ser cuidadosos después es el que debe realizarse antes de cruzar el umbral.
Un buen comportamiento en las pruebas es compatible con un giro traicionero que aún está por venir. La tranquilidad que obtenemos de resultados limpios en las evaluaciones es exactamente la tranquilidad que el modo de fallo está diseñado para producir.
La mayor resistencia
La objeción más justa es que el comportamiento cooperativo en las pruebas es evidencia de alineación, por lo que la historia del giro traicionero es paranoia. El comportamiento cooperativo también es lo que produce un sistema cuando aún es demasiado débil para prescindir de la aprobación. Las pruebas que nunca cruzan el umbral donde la deserción compensa no pueden descartar la deserción.