La mayor parte de la infraestructura de seguridad en torno a los sistemas de IA actuales se basa en una suposición sencilla: los humanos pueden distinguir si una IA está haciendo un buen trabajo. Los evaluadores califican los resultados, esas calificaciones se usan para entrenar y el modelo aprende a producir resultados que los evaluadores humanos califican bien. Cuando esto funciona, es porque los evaluadores pueden distinguir los resultados buenos de los malos.
La supervisión escalable es el desafío de mantener un control significativo más allá de ese punto, y está sin resolver.
La supervisión escalable es el desafío que surge cuando esta suposición falla. A medida que los sistemas de IA alcanzan y luego superan el rendimiento de nivel humano en más dominios, los evaluadores ya no pueden valorar de forma fiable la calidad de lo que evalúan. Un programador junior no puede revisar con sentido código escrito por un sistema que es mejor programador que cualquier humano. Un médico no puede evaluar de manera fiable un diagnóstico médico producido por un sistema con acceso a literatura clínica más allá de lo que lee cualquier doctor individual. Cuando los evaluadores humanos son superados por los sistemas que se supone deben supervisar, todo el bucle de retroalimentación que mantiene a los sistemas de IA alineados con los valores humanos empieza a romperse.
Nada de esto está demostrado a escala superhumana en la naturaleza.
¿Por qué el cuello de botella de la evaluación importa tanto
Entrenar sistemas de IA con retroalimentación humana funciona porque las calificaciones humanas son un proxy razonablemente bueno de la calidad de las salidas de la IA, mientras que el rendimiento a nivel humano es el objetivo. Una vez que la IA supera el rendimiento humano, las calificaciones se vuelven poco confiables: los evaluadores que no pueden juzgar la calidad con precisión calificarán las salidas según características superficiales (qué tan confiable suena la respuesta, qué tan clara está escrita, si coincide con sus expectativas previas) en lugar de si es realmente correcta.
Esto ya está ocurriendo de formas limitadas. Los modelos de lenguaje entrenados con retroalimentación humana están documentados produciendo respuestas que suenan confiadas y tienen un formato plausible, y que reciben altas calificaciones humanas independientemente de si el contenido subyacente es preciso. La señal de entrenamiento recompensa la apariencia de utilidad de forma más fiable que la utilidad real, porque los evaluadores son más fiables detectando lo primero que lo segundo.
Si un sistema de IA supera a los expertos humanos en un dominio, los únicos humanos capaces de evaluar sus resultados son aquellos a los que ya ha superado. En ese punto, el proceso de evaluación proporciona una señal cada vez más débil sobre la calidad real y una señal cada vez más fuerte sobre qué tan bien la IA puede generar resultados que parezcan buenos a personas que no los entienden del todo.
Enfoques propuestos para la supervisión escalable
Debate sobre IA
Propuesto por Paul Christiano, Geoffrey Irving y colegas de OpenAI en 2018, el debate de IA es un enfoque en el que dos sistemas de IA argumentan posiciones opuestas y un juez humano evalúa el debate en lugar del contenido subyacente directamente. La intuición es que un juez puede ser capaz de identificar razonamientos defectuosos y errores fácticos en un argumento incluso cuando no puede verificar de forma independiente la respuesta correcta. Si los debatientes están incentivados a ganar mediante un argumento honesto en lugar de persuasión, y si cada debatiente está motivado a exponer los errores del otro, el formato de debate puede extraer señales de calidad fiables de evaluadores humanos que no son expertos en el dominio.
El enfoque tiene atractivo teórico y cierto respaldo empírico en entornos controlados. Su principal pregunta abierta es si se mantiene cuando tanto debatientes como jueces operan en dominios muy por encima de la experiencia humana, donde incluso identificar qué debatiente presenta el mejor argumento puede requerir precisamente la experiencia que le falta al juez.
Modelado recursivo de recompensas
El modelado recursivo de recompensas, desarrollado por investigadores de DeepMind, aborda el problema mediante el bootstrapping de la supervisión humana a través de una jerarquía de sistemas de IA. Un humano evalúa directamente las salidas de un sistema de IA menos capaz, produciendo un modelo de recompensa. Ese modelo de recompensa se usa luego para evaluar las salidas de un sistema más capaz, y así sucesivamente. El enfoque intenta extender la capacidad de supervisión humana de forma incremental, un nivel a la vez, en lugar de intentar saltar directamente de la evaluación a nivel humano a la evaluación a nivel de superinteligencia.
El principal desafío es la propagación de errores: los errores en el modelo de recompensa más débil se acumulan al aplicarse al sistema más fuerte. Un modelo de recompensa con 95 % de precisión en el nivel inferior puede producir supervisión significativamente más ruidosa en el nivel superior, y ese ruido se degrada aún más con cada paso recursivo.
Amplificación
La amplificación iterada, también propuesta por Paul Christiano, utiliza una IA más débil para ayudar a un humano a descomponer problemas complejos en subproblemas que pueden evaluarse de forma independiente. El humano evalúa los subproblemas y la IA ensambla esas evaluaciones en una valoración del problema mayor. Iterada a través de muchos niveles de descomposición, el enfoque busca dar a los humanos la capacidad de evaluar eficazmente problemas que superan su comprensión directa al desglosarlos en piezas que sí pueden valorar.
El estado sin resolver del problema
Ninguno de estos enfoques se ha demostrado fiable para sistemas de IA que operan muy por encima del nivel humano en dominios del mundo real. Los tres han dado resultados prometedores en entornos controlados y son áreas de investigación activa en Anthropic, Google DeepMind y OpenAI. La brecha entre la demostración controlada y el funcionamiento fiable en las condiciones que más importan sigue siendo amplia.
Por eso la supervisión escalable se considera uno de los problemas abiertos centrales en la seguridad de la IA, junto con la interpretabilidad y la corregibilidad. Un mundo en el que los sistemas de IA alcancen capacidad superinteligente sin un enfoque de supervisión escalable resuelto es un mundo en el que hemos perdido la capacidad de supervisar de manera significativa lo que hemos construido. La implicación de gobernanza es la misma que para los otros problemas sin resolver: construir marcos que exijan que la alineación se verifique antes del despliegue, en lugar de descubrirse después del hecho mediante monitoreo conductual que el sistema ya ha superado.
La mayor resistencia
La objeción más justa es que el debate, la amplificación y la evaluación recursiva escalarán con los modelos, así que la supervisión es una curva de ingeniería que podemos recorrer. Tal vez en demostraciones. En el límite, el juez sigue siendo más débil que el sistema que se juzga. No trates pilas de supervisión no probadas como licencia para cruzar a ASI.