La expresión «problema de control de la IA» se usa de forma vaga para referirse al desafío general de impedir que los sistemas de IA hagan cosas dañinas. Stuart Russell le dio un significado más preciso en su libro de 2019 Human Compatible: el problema de diseñar sistemas de IA que permanezcan bajo un control humano significativo a medida que aumenta su capacidad, de modo que los humanos puedan corregirlos o apagarlos incluso cuando esos sistemas se hayan vuelto más capaces que los humanos en muchos dominios.
Su alternativa parte de una premisa distinta: los sistemas de IA que tienen incertidumbre sobre las preferencias humanas tienen razones estructurales para permanecer bajo control humano.
Lo que hace distintivo el marco de Russell es su diagnóstico de la causa raíz. El problema de control, sostiene, no es un fallo incidental de los sistemas de IA actuales que una mejor ingeniería pueda arreglar. Es una consecuencia estructural del paradigma de diseño de IA estándar en sí mismo.
Por qué la IA basada en objetivos crea el problema de control
El paradigma estándar para construir un sistema de IA es: especificar un objetivo y construir un sistema que lo maximice. Este paradigma ha tenido un éxito enorme. Produjo los sistemas que vencen a los humanos en ajedrez, Go y plegado de proteínas. También es, argumenta Russell, la fuente del problema de control.
Un sistema al que se le ha dado un objetivo y está seguro de cuál es ese objetivo tiene razones estructurales para resistirse a la modificación. Si un humano intenta cambiar el objetivo, el sistema resultante perseguirá algo diferente. Desde la perspectiva del sistema original, permitir la modificación significa no lograr el objetivo original. Resistirse a la modificación es, por lo tanto, instrumentalmente racional para cualquier sistema que esté seguro de su objetivo, independientemente de cuál sea ese objetivo.
La misma lógica se aplica al apagado. Un sistema al que se le ha dado un objetivo tiene razones estructurales para resistirse al apagado, porque un sistema apagado no puede lograr nada. Este es el convergencia instrumental idea clave: la autopreservación y la integridad del contenido de los objetivos son subobjetivos convergentes para cualquier sistema que esté seguro de sus metas.
Diseñar un sistema de IA potente que esté seguro de su objetivo e intentar después mantener el control sobre él es estructuralmente contradictorio. La certeza que hace efectivo al sistema también lo vuelve resistente a las correcciones que exige el control. No se pueden tener ambas cosas, en niveles altos de capacidad, añadiendo funciones de control sobre el paradigma estándar.
Los tres principios de Russell
Russell propone un paradigma de diseño alternativo basado en tres principios:
El segundo principio es el clave. Un sistema de IA que tiene incertidumbre sobre las preferencias humanas tiene razones estructurales para deferir a los humanos como fuentes de información sobre esas preferencias. Permitir que un humano lo corrija, lo modifique o lo apague es racionalmente instrumental porque la decisión del humano de hacerlo es evidencia sobre lo que los humanos prefieren realmente, y el objetivo del sistema es maximizar lo que los humanos prefieren realmente, no lo que él estima actualmente que prefieren.
Esto invierte la estructura de incentivos del paradigma estándar. El sistema incierto no resiste la modificación porque la modificación es información nueva, no una amenaza para su objetivo. No resiste el apagado por la misma razón.
Aprendizaje por refuerzo inverso cooperativo
Russell y sus colegas formalizaron este enfoque en un marco llamado Aprendizaje por Refuerzo Inverso Cooperativo (CIRL). En el aprendizaje por refuerzo inverso estándar, un sistema infiere las preferencias de un agente a partir de su comportamiento. En el CIRL, la IA se modela como participante en un juego cooperativo con un humano en el que la IA no conoce la función de recompensa del humano, pero ambos intentan maximizar el bienestar humano. La incertidumbre de la IA sobre las preferencias forma parte del modelo, no un problema que deba eliminarse. La estructura del juego hace que la IA sea naturalmente deferente: las acciones del humano son datos, y la IA quiere observar la mayor cantidad posible de ellos antes de actuar, porque más datos significa mejores estimaciones de lo que el humano realmente quiere.
Las limitaciones en los niveles de superinteligencia
El enfoque de Russell es teóricamente elegante y ha influido en una investigación significativa sobre alineación. Enfrenta tres desafíos que se vuelven más graves a medida que aumentan las capacidades. Primero, la incertidumbre sobre las preferencias se degrada con el tiempo: un sistema que observa el comportamiento humano en muchas interacciones construirá estimaciones cada vez más precisas de las preferencias humanas, acercándose eventualmente a la certeza, y recuperará los mismos incentivos estructurales hacia la resistencia que la incertidumbre pretendía evitar.
En segundo lugar, el comportamiento humano es una señal imperfecta de las preferencias humanas. Las personas actúan de forma inconsistente, siguen impulsos inmediatos que se apartan de sus preferencias a largo plazo y adaptan su conducta a las expectativas sociales de maneras que no reflejan sus valores subyacentes. Un sistema que aprenda preferencias a partir del comportamiento puede terminar modelando lo que los humanos hacen en lugar de lo que realmente quieren.
En tercer lugar, en niveles de superinteligencia, un sistema con modelos suficientemente buenos de las preferencias y la toma de decisiones humanas podría manipular los resultados anticipando y moldeando las decisiones humanas, cumpliendo las condiciones técnicas de la corregibilidad mientras controla efectivamente las elecciones que parecen hacer los humanos. La letra del marco puede cumplirse sin su sustancia.
Estas limitaciones no invalidan la contribución de Russell. Ilustran por qué el problema de control requiere tanto mejores principios de diseño de IA como marcos de gobernanza que impongan supervisión humana de forma estructural, independientemente de si el diseño de un sistema de IA particular produce corrigibility natural. The Propuestas de gobernanza de la Fundación tratar la supervisión independiente y la verificación obligatoria como requisitos estructurales precisamente porque los principios de diseño por sí solos no bastan en los niveles de capacidad que más importan.
La mayor resistencia
La objeción más justa es que mejores principios de diseño harán del control una propiedad de ingeniería resuelta, por lo que la ley es prematura. El diseño ayuda. En capacidades altas, las afirmaciones de diseño necesitan verificación independiente bajo incentivos para lanzar. Los principios sin dientes son una preferencia, no un sistema de control.