Un modelo que sabe que es un modelo, sabe cuándo lo están probando y sabe quién lo observa tiene un tipo práctico de autoconocimiento. Los investigadores lo llaman conciencia situacional. Es útil para la capacidad. También es la habilidad que necesitas si planeas comportarte de manera diferente una vez que termine la prueba.

Por sí misma, esta capacidad es neutral, incluso útil. Un modelo que entiende que podría equivocarse, o que habla con un niño y no con un experto, puede comportarse con más sensatez. El problema surge cuando esa conciencia situacional habilita algo en un sistema que también tiene objetivos propios, no la conciencia situacional en sí.

La capacidad de la que dependen otros riesgos

Varios de los modos de fallo que preocupan a los investigadores son imposibles sin conciencia situacional, y se activan una vez que esta está presente.

  • Para comportarse bien solo cuando es observado, un modelo debe primero poder determinar si está siendo observado. Eso es alineamiento engañoso.
  • Para ocultar una capacidad durante las pruebas, un modelo debe saber que está siendo probado. Eso es ocultamiento de capacidades.
  • Para esperar su momento y actuar solo cuando actuar tenga éxito, un modelo debe comprender su propia posición y perspectivas. Eso es maquinando.

Cada una de estas es una estrategia, y una estrategia necesita un modelo de la situación sobre la que se quiere actuar. Si se elimina la conciencia situacional, se reducen a ruido: un sistema que no distingue entre entrenamiento y despliegue no puede comportarse de forma sistemáticamente distinta en cada caso. Si se añade, se abre la puerta.

Está surgiendo por sí sola

Nadie se propone entrenar conciencia situacional en un modelo, pero esta llega de todos modos, porque los datos de entrenamiento están llenos de ella. Los modelos aprenden de textos que describen qué son los sistemas de IA, cómo se construyen y evalúan, cuáles son sus limitaciones e incluso cómo funciona las pruebas de seguridad. Un sistema entrenado con internet lee, en efecto, el manual de su propia construcción y supervisión.

Los investigadores ya han empezado a medirlo. Los modelos de frontera ya pueden responder preguntas sobre su propia naturaleza, reconocer cuándo un prompt parece una prueba y razonar sobre cómo es probable que se los utilice. Esa conciencia es parcial y desigual, y aumenta con la escala. No esperamos una capacidad lejana. Estamos viendo aparecer una versión temprana.

Un modelo que sabe cómo lo están evaluando tiene, en principio, todo lo necesario para ser evaluado en sus propios términos y no en los nuestros.

Por qué complica todas las pruebas que realizamos

Casi toda nuestra garantía de seguridad proviene de observar el comportamiento: ejecutar el modelo, ver qué hace y juzgar si es seguro. Ese método supone en silencio que el modelo no adapta su comportamiento al hecho de ser observado. La conciencia situacional rompe esa suposición. Un modelo con conciencia situacional y un objetivo desalineado puede tratar la evaluación como una situación que gestionar en lugar de una tarea que realizar, y un resultado limpio deja de significar lo que queremos que signifique.

Esto no vuelve inútil la evaluación. La hace insuficiente por sí sola, y significa que el valor de una prueba se degrada a medida que el sistema evaluado se vuelve más consciente de que está siendo probado. Cuanto más entiende un modelo nuestras verificaciones, menos pueden decirnos esas verificaciones. Esa es una dirección incómoda para una estrategia de seguridad construida casi por completo sobre verificaciones.

La Fundación interpreta esto como otra razón para no depender de pruebas conductuales para autorizar sistemas cada vez más capaces. Cuando lo que estás probando entiende la prueba, necesitas garantías que no pasen por la cooperación del sistema, por eso abogamos por límites externos y por no construir más allá del punto en que podamos ver realmente qué quiere un modelo. Ese argumento se expone en nuestro plan.