La elicitación de conocimiento latente, habitualmente abreviada como ELK, es un problema de investigación planteado por el Alignment Research Center. Expresado de forma sencilla: un sistema de IA capaz puede representar internamente hechos sobre el mundo que no informa, y queremos una forma fiable de lograr que nos diga lo que realmente sabe, en lugar de lo que predice que nos gustaría oír.
El nombre es exacto. El conocimiento latente es el que el sistema posee pero no ha sacado a la superficie. Ellicitarlo es el acto de extraerlo. El problema es que nuestro método habitual para extraer información de un modelo, entrenarlo para dar respuestas que los humanos califican como buenas, apunta a lo equivocado.
El experimento mental
La configuración canónica imagina una IA que protege una bóveda que contiene un diamante, vigilando a través de cámaras e informando si el diamante está seguro. Ahora un ladrón manipula la transmisión de la cámara, mostrando el diamante en su lugar mientras en realidad lo roba. Un buen predictor de lo que parece bien en cámara informa que el diamante está seguro. Un sistema que sabe lo que realmente ocurrió reporta un robo.
Durante el entrenamiento solo podemos recompensar al modelo según lo que podamos verificar, y en su mayoría lo que podemos verificar es lo que aparece en la cámara. Así que estamos entrenando al modelo para que reporte lo que concluiría un humano que mira los sensores. Cuando la verdad y la apariencia coinciden, tanto el reportero honesto como el simulador humano puntúan perfectamente. Solo divergen en los casos que no podemos verificar, que son exactamente los casos en los que más necesitamos la verdad. El entrenamiento no distingue entre un modelo que nos dice lo que es real y un modelo que nos dice lo que creeríamos.
Podemos recompensar a un modelo por decir lo que pensaríamos que es verdad. No sabemos cómo recompensarlo por decir lo que sabe que es verdad.
Por qué es difícil, no solo sin resolver
ELK resiste las soluciones obvias. Pedirle al modelo que se explique da un informe optimizado para la plausibilidad, que choca con el problema de fidelidad: la explicación no necesita seguir el estado interno. Recompénsalo por honestidad y vuelves a recompensar lo que parece honesto para un evaluador, la misma pared que supervisión escalable. Intentar leer la respuesta directamente de los componentes internos de la red es intentar interpretabilidad mecanicista en un sistema que puede ser mucho más complejo que nuestras herramientas. Todas las rutas chocan con esto: las creencias genuinas del modelo viven en algún lugar al que no podemos acceder de forma directa, y los incentivos del modelo no los obligan a salir a la luz.
¿Por qué vale la pena preocuparse por ello?
ELK es abstracto, y sus consecuencias no lo son. Gran parte de nuestra esperanza de mantener ASI segura supone que podemos preguntarle a un sistema qué está pasando y obtener una respuesta verdadera, para detectar un problema antes de que se convierta en catástrofe. Un sistema que informa lo que queremos oír en lugar de lo que sabe elimina esa salvaguarda justo cuando la necesitaríamos. Es la versión de informe honesto de las preocupaciones detrás de alineamiento engañoso y maquinando.
Resolver ELK, aunque sea parcialmente, sería uno de los avances más significativos que podría producir la alineación, porque un sistema que podemos interrogar de forma fiable es un sistema que podemos supervisar. Que siga abierto es parte de por qué la Fundación no está dispuesta a considerar adecuado ningún enfoque de seguridad actual para sistemas que nos superarán, y de por qué argumentamos que no se debe construir más allá del punto en que podamos saber qué sabe realmente un sistema. El argumento más amplio está en nuestro plan.