La mayoría de las discusiones sobre seguridad de la IA se centran en el escenario en que los sistemas de IA persiguen objetivos claramente malos, objetivos que llevan directamente al daño humano. El bloqueo de valores es un escenario más sutil y, en cierto modo, más inquietante: la codificación permanente de objetivos que parecen buenos en el momento de codificarlos, pero que cierran el progreso moral que eventualmente los habría mejorado.
El bloqueo de valores hace que esas correcciones sean imposibles.
El concepto es sencillo. Un sistema de IA superinteligente, o una entidad potenciada por IA, obtiene suficiente control sobre los recursos y sistemas del mundo para imponer de forma permanente los valores que se le hayan dado o que haya adoptado. A partir de ese momento, esos valores moldean todos los resultados, sin posibilidad de revisión. El bloqueo puede ocurrir de manera deliberada (un actor codifica sus valores intencionalmente) o accidental (un sistema maximiza su objetivo de forma tan exhaustiva que descarta cualquier posibilidad de alternativas). En cualquier caso, el futuro queda fijado.
El argumento histórico contra cualquier bloqueo
El argumento más poderoso contra el bloqueo de valores no es filosófico, sino histórico. Miremos dos siglos atrás y examinemos qué consideraban verdades morales obvias las personas de esa época. La esclavitud era aceptada legal y socialmente en la mayor parte del mundo, incluso en naciones con tradiciones filosóficas sofisticadas y compromisos explícitos con la dignidad humana. El estatus legal de las mujeres como propiedad de sus maridos o padres era universal. Las prácticas que hoy se reconocen como tortura eran elementos estándar de los sistemas de justicia penal. Los niños no tenían derechos frente a sus padres o empleadores.
La gente de esas épocas no era especialmente maliciosa. Muchos eran personas reflexivas, con seriedad moral, que razonaban con cuidado sobre ética. Llegaron a posturas que hoy cualquiera consideraría catastróficas. Y estaban convencidos de que sus valores eran correctos, la misma certeza moral que hacía que el bloqueo pareciera razonable para muchos de ellos.
El patrón continúa. Hace un siglo, prácticamente todas las sociedades occidentales sostenían opiniones explícitas sobre la jerarquía racial que ahora se reconocen como falsas en los hechos y moralmente grotescas. Hace cincuenta años, la homosexualidad se clasificaba como una enfermedad mental en las principales obras de referencia médica. Los errores morales de las generaciones anteriores resultan obvios con la perspectiva del tiempo. Sería sorprendente que nuestra propia era hubiera alcanzado por fin la perfección moral y no tuviera errores comparables que corregir en el futuro.
Si los valores actuales contienen errores (y el patrón histórico sugiere que sí), codificarlos de forma permanente es codificar esos errores para siempre. Las generaciones futuras que habrían descubierto y corregido esos errores no tendrán mecanismo para hacerlo. El bloqueo preserva todo lo que hay en nuestros valores actuales, lo bueno y los errores por igual, para siempre.
Por qué incluso el lock-in benevolente es peligroso
Una respuesta común a las preocupaciones sobre el bloqueo de valores es: «¿Y si los valores que se bloquean son genuinamente buenos?». La respuesta pasa por alto el problema. La evaluación de que los valores son «genuinamente buenos» debe hacerse usando los valores en cuestión. No existe un punto de vista externo desde el cual evaluar si los valores actuales son lo suficientemente buenos como para justificar su codificación permanente. La misma certeza moral confiada que hace que el bloqueo parezca aceptable ha sido históricamente la característica que el progreso moral posterior ha encontrado más necesitada de revisión.
El argumento del desperdicio astronómico de Nick Bostrom plantea este punto de otra manera. El futuro accesible a la humanidad, en escalas de tiempo cósmicas, implica un número casi incomprensible de vidas y experiencias posibles. Incluso una pequeña desviación sistemática de los valores óptimos, aplicada a esa escala, representa una pérdida mucho mayor que cualquier cosa que pueda ocurrir en una vida humana. El bloqueo en valores que sean un 99 % correctos según algún estándar ideal sigue siendo un resultado catastrófico cuando se mide contra la escala de lo que el futuro podría contener.
La relación con la supervisión democrática
El bloqueo de valores es una de las razones centrales por las que supervisión democrática e internacional de la IA superinteligente importa tanto. Cualquier entidad única (una empresa, un gobierno, incluso una fundación bienintencionada) cuyos valores se codifiquen permanentemente en un sistema superinteligente ha producido un bloqueo, independientemente de lo buenos que parezcan esos valores en ese momento.
La alternativa no es identificar los valores correctos y codificarlos en su lugar. Nadie puede hacerlo de forma fiable, y el historial histórico sugiere que la alta confianza en haber encontrado los valores correctos es en sí misma una señal de advertencia. La alternativa es preservar las condiciones bajo las cuales puede continuar el progreso moral: pluralismo, diversidad de perspectivas, mecanismos para la revisión pacífica de las normas y ninguna entidad única con el poder de imponer permanentemente sus valores a todos los demás.
Este es el argumento estructural a favor de la gobernanza democrática de la IA superinteligente que va más allá del argumento instrumental (produce mejores resultados). La supervisión democrática preserva las condiciones para el progreso moral continuo, independientemente de qué valores específicos se sostengan en cada momento. La Propuestas de gobernanza de la Fundación están construidos alrededor de esta idea: el objetivo no es asegurar que los valores correctos estén en control, sino asegurar que ningún conjunto único de valores (por bien intencionados que sean) gane control permanente e irreversible.