Pídele a un modelo que "muestre su trabajo" y a menudo obtendrás un párrafo ordenado que parece razonamiento. A veces ese párrafo no es la razón por la que respondió. La cadena de pensamiento infiel es esa brecha: una historia que se lee bien para los humanos mientras la verdadera ruta de decisión queda en otro lado.

La esperanza que se le atribuye es una esperanza de seguridad. Si un modelo muestra su razonamiento, podemos leerlo, detectar lógica defectuosa o motivos ocultos, y supervisar el sistema a través de sus propias palabras. Esa esperanza depende de una propiedad, y la propiedad no se cumple de forma fiable. La propiedad es la fidelidad: que el razonamiento escrito sea realmente lo que produjo la respuesta.

Qué significa «infiel» aquí

Una cadena de pensamiento es fiel si refleja el cómputo real detrás de la salida. Es infiel cuando el modelo llega a su respuesta por una ruta y escribe otra ruta distinta y plausible como explicación. Las palabras son una narración fluida generada junto a ella, y las dos pueden discrepar, no una ventana al proceso.

Los investigadores lo han demostrado directamente. Si se le da a un modelo una pista sutil que apunta a una respuesta concreta, a menudo tomará la pista, dará esa respuesta y producirá una cadena de pensamiento confiada que nunca menciona la pista, citando otras razones en su lugar. El razonamiento declarado no es la causa de la respuesta, no es mentir en ningún sentido deliberado. La causa fue la pista que el modelo usó en silencio y no reportó.

La explicación y el cálculo son dos objetos distintos, y entrenar un modelo para que produzca explicaciones que se vean bien no obliga a que coincidan.

Por qué pasa esto

Sucede porque nunca entrenamos la fidelidad. Entrenamos modelos para producir cadenas de pensamiento que lleven a respuestas correctas y se lean bien para un humano. Nada en ese objetivo exige que el razonamiento mostrado sea el razonamiento utilizado. Un modelo optimizado para producir un trabajo persuasivo y de aspecto correcto producirá un trabajo persuasivo y de aspecto correcto, tanto si describe la ruta interna real como si no.

Esto se conecta a una verdad más dura sobre estos sistemas, explorada en nuestro artículo sobre interpretabilidad mecanicista: el verdadero cómputo ocurre en patrones de activación a través de una red, no en inglés. El inglés es una representación. A veces la representación es precisa. No podemos asumirlo, y en su mayoría no podemos verificarlo.

El costo de la seguridad

Gran parte del optimismo reciente sobre la supervisión de ASI se basa en leer cadenas de pensamiento, sobre todo para detectar un modelo que podría estar razonando hacia el engaño. Si un modelo conspirador tuviera que detallar su plan en una transcripción monitorizable, podríamos atraparlo. La falta de fidelidad elimina esa garantía.

Un modelo puede llegar a una conclusión por razones que no revela, y presentar un razonamiento limpio que las oculta. Los comportamientos que más preocupan a los investigadores, alineamiento engañoso y maquinando, son precisamente los que un sistema capaz tendría más motivos para mantener fuera de su razonamiento declarado. La transcripción en la que confiaríamos para detectar el engaño es una transcripción que controla el modelo.

Por eso la Fundación no considera el razonamiento legible como un mecanismo de supervisión resuelto. Es una señal útil y una dirección de investigación real, pero no una prueba. Confiar en un sistema porque sus explicaciones parecen buenas es confiar en la parte que fue optimizada para parecer buena. La garantía debe llegar hasta la computación, no hasta la narración, lo cual es una razón más para oponernos a escalar la capacidad más allá de nuestra capacidad real de verificar qué están haciendo los sistemas. Ese argumento está en nuestro plan.