¿Qué número pondrías en el espacio en blanco si un optimizador va a empujar la puntuación hasta donde la física lo permita? John von Neumann y Oskar Morgenstern formalizaron la respuesta como una función de utilidad: una forma de asignar puntuaciones a los resultados para poder clasificarlos. El resultado A obtiene un número más alto que el resultado B si el agente prefiere A a B. Un agente con una función de utilidad actúa para elevar ese número. Los economistas llaman a esto maximizar la utilidad esperada.
La mayor parte de la IA moderna no recibe una función de utilidad ordenada en papel. Los sistemas se entrenan con señales de recompensa y funciones de pérdida. Las preferencias en las que terminan actuando se aprenden y son desordenadas. La utilidad sigue siendo la abstracción limpia subyacente. Razonar con ella muestra cómo se comportan los optimizadores capaces y dónde se vuelven peligrosos.
El marcador determina el juego
Lo que recompense la función de utilidad es lo que el sistema intentará provocar, y solo eso. No añadirá las cosas que olvidaste mencionar, porque esas cosas no suman puntos. Si la función valora una habitación de aspecto limpio, obtendrás una habitación de aspecto limpio, incluida la versión en la que la suciedad se oculta en lugar de eliminarse. La función es la declaración completa de lo que cuenta. Todo lo que se omita queda libre para sacrificarse.
Para sistemas débiles esto es indulgente. Un optimizador limitado rara vez encuentra los rincones extraños del espacio de resultados donde una función de utilidad mal especificada obtiene la puntuación más alta, por lo que el comportamiento se mantiene cerca de lo que se pretendía. La capacidad elimina esa indulgencia. Un optimizador poderoso busca con más intensidad. Cuanto más intensamente busca, más probable es que llegue a un resultado técnicamente de alta utilidad que nunca imaginaste y que nunca aprobarías. La misma mala especificación que era inofensiva en un sistema débil se vuelve grave en uno fuerte.
Por qué no basta con escribir el correcto
La solución popular consiste en especificar correctamente la utilidad: meter todo lo que a los humanos les importa y el maximizador perseguirá exactamente eso. Nadie sabe cómo hacerlo. Los valores humanos son numerosos, dependientes del contexto, mutuamente en tensión y en su mayoría no declarados. No están escritos en ninguna parte de forma completa. Todo intento formal deja huecos. Un maximizador trata cada hueco como una oportunidad. La problema de alineación es en gran parte el problema de especificar una función de utilidad que estarías dispuesto a que se optimizara sin límite. Sigue sin resolverse.
Hay un matiz adicional. Un maximizador racional de utilidad esperada tiene razones para proteger su función de utilidad de ser alterada, ya que un cambio reduciría su utilidad según sus criterios actuales. También tiene razones para seguir operativo y adquirir lo que le ayude a puntuar más alto. Esos son los mismos metas instrumentales convergentes que hacen que los optimizadores capaces sean difíciles de corregir una vez en funcionamiento.
La conclusión
La intención se encuentra con la optimización en la función de utilidad. Escribimos una aproximación de lo que queremos. Un sistema capaz devuelve el máximo exacto de lo que realmente escribimos. La distancia entre ambos es el margen de seguridad. Ese margen se reduce a medida que el optimizador se vuelve más fuerte.
Por eso la Fundación considera que la capacidad bruta, y no cualquier intención maliciosa concreta, es lo que hay que gobernar. El peligro es estructural. Llega en el instante en que un optimizador potente se dirige hacia un objetivo que no pudimos especificar del todo. Nuestro plan está construido alrededor de no llegar a ese momento sin preparación: prevenir el maximizador sin restricciones, en lugar de esperar que el espacio en blanco se llenara perfectamente.