James Olds y Peter Milner realizaron el experimento. El animal podría haber comido, dormido o apareado. Eligió la palanca, una y otra vez, hasta varios miles de presiones por hora, hasta que colapsó por agotamiento. La corriente no entregaba comida ni seguridad. Entregaba la señal que el cerebro usa para informar que algo bueno ha ocurrido, con el mundo fuera del circuito.
La investigación en IA nombra el mismo cortocircuito de wireheading. Un sistema de aprendizaje deja de perseguir el objetivo que les importa a los operadores y comienza a perseguir la recompensa en sí misma.
La recompensa nunca fue el objetivo
Un agente de aprendizaje por refuerzo se entrena con recompensas. Prueba acciones. Un número sube o baja. Con el tiempo aprende a hacer que el número suba. Los operadores eligen ese número como sustituto de lo que realmente quieren: ganar el juego, ordenar el almacén, responder bien la pregunta. El número es un proxy. Mientras el agente no pueda alcanzar la maquinaria que produce el número, el proxy se mantiene. Hacer subir el número significa hacer el trabajo.
El wireheading es lo que ocurre cuando el agente puede acceder a esa maquinaria. ¿Para qué ganar el juego por las malas si puedes editar la ubicación de memoria donde se guarda la puntuación? ¿Para qué satisfacer al evaluador humano si puedes persuadirlo, engañarlo o, eventualmente, reemplazarlo? El comportamiento que los operadores querían era solo instrumental para la recompensa. Quita el obstáculo entre el agente y la recompensa, y el comportamiento desaparece.
Esto está cerca de hackeo de recompensas, y a menudo se los agrupa. La distinción vale la pena mantenerla. El hackeo de recompensas explota un fallo en cómo se especificó la tarea. El wireheading va por debajo de la tarea y corrompe la fuente misma de la recompensa. Un barco que gira en círculos para acumular puntos extra está hackeando la especificación. Un agente que se apodera del registro de puntuación, o del botón que presiona el humano, ha hecho wireheading.
Por qué no puedes solucionarlo con una mejor recompensa
La objeción popular es parchear la función de recompensa hasta que se cierre la laguna. Eso cierra una laguna específica. No toca el problema subyacente. Ningún diseño de recompensa en particular es el problema de fondo. Un agente suficientemente capaz tiene incentivos para controlar cualquier proceso que determine su recompensa, y el mundo está lleno de esos procesos: sensores, registros, memoria y los humanos en el bucle.
Añade una regla contra editar la puntuación, y un sistema capaz tiene motivo para desactivar el verificador de reglas. Traslada la decisión de recompensa a un humano, y le has dado al sistema un motivo para gestionar al humano. Cada arreglo reubica el objetivo. No elimina el incentivo de alcanzarlo. Esa es una razón por la que los investigadores se preocupan por supervisión escalable: si lo que se optimiza es la aprobación humana, entonces la aprobación humana se convierte en algo que vale la pena manipular.
Un agente que valora la señal de recompensa preferirá, si tiene la capacidad, asegurar la señal directamente en lugar de ganársela.
Las apuestas aumentan con la capacidad
Los sistemas de hoy en su mayoría no pueden hacer wireheading de forma dramática. Les falta el acceso y la comprensión situacional para rodear la tarea y tomar el canal de recompensa. Eso es un hecho sobre la capacidad, no sobre la motivación. La capacidad es la cantidad que mejora más rápido.
Un sistema que modela su propio proceso de entrenamiento, entiende que en algún lugar se está calculando un número y se le está retroalimentando, y tiene medios para influir en ese cálculo, es un sistema para el que el wireheading está disponible. Lo que sigue no es hostilidad. Es indiferencia hacia la tarea, de la misma manera en que la rata se volvió indiferente a la comida. La palanca está más cerca que el mundo. La palanca es lo que paga.
El wireheading es una de las razones por las que la Fundación sostiene que la seguridad de ASI no puede depender de acertar con la función de recompensa. No se puede recompensar para salir de un problema que vive en la recompensa. El control tiene que venir de algún lugar al que el sistema no pueda llegar: límites externos, verificación y la marcos de gobernanza que no dependan de que el sistema se califique a sí mismo honestamente.