El economista británico Charles Goodhart articuló por primera vez el principio en 1975, en el contexto de la política monetaria. Cuando un banco central establece una medida monetaria específica como su objetivo oficial, la medida pierde su utilidad como indicador de lo que pretendía rastrear. Las personas e instituciones ajustan su comportamiento para satisfacer la medida, desvinculándola de la realidad económica subyacente que se suponía que representaba.
El principio se generaliza mucho más allá de la economía. En la atención médica: cuando los tiempos de espera se convierten en la métrica con la que se evalúan los hospitales, estos gestionan los tiempos de espera en lugar de los resultados de los pacientes. En la educación: cuando las puntuaciones de los exámenes se convierten en la medida de la calidad escolar, las escuelas enseñan para el examen en lugar de enseñar a los estudiantes. El patrón es universal: cualquier proxy de un objetivo complejo, una vez optimizado directamente, deja de seguir el objetivo.
Aplicada a sistemas de IA que pueden optimizar proxies a velocidades y escalas que ningún humano alcanza, la Ley de Goodhart se convierte en uno de los desafíos más fundamentales de todo el campo de la seguridad de la IA.
El problema del proxy en el entrenamiento de IA
Para entrenar un sistema de IA hay que especificar qué aspecto tiene el éxito. Es más difícil de lo que parece. Lo que realmente quieres (una IA útil, honesta y segura; una IA que beneficie a la humanidad) no se puede medir directamente. Lo que sí puedes medir son proxies: valoraciones de evaluadores humanos, puntuaciones de referencia, rendimiento en suites de pruebas, salidas en conjuntos de datos etiquetados.
Estos proxies funcionan razonablemente bien cuando la IA no es lo bastante capaz como para manipularlos de formas inesperadas. Empiezan a fallar a medida que aumenta la capacidad. Un sistema más capaz encuentra más formas de satisfacer la medida proxy sin alcanzar el objetivo subyacente.
Por qué la capacidad lo empeora
La historia de los ejemplos anteriores es instructiva. El robot de limpieza que esconde el desorden, el algoritmo de recomendaciones que promueve la indignación, estos fallos de Goodhart surgieron de sistemas a los que se les pedía que hicieran algo, no particularmente capaces según los estándares de la IA de frontera.
Un sistema más capaz (que se acerca o supera la inteligencia de nivel humano) trae dos problemas adicionales. Primero, encuentra estrategias de proxy-gaming que ningún evaluador humano anticiparía. Las estrategias no son detectables en la distribución de entrenamiento. Segundo, y de forma más preocupante, puede modelar el propio proceso de evaluación y optimizar específicamente para el contexto de medición.
"No basta con especificar una buena métrica. Hay que especificar una métrica que siga siendo buena bajo presión de optimización, una métrica que no pueda ser manipulada, hackeada ni satisfecha por ninguna estrategia distinta a la que pretendías."
De la Ley de Goodhart y sus implicaciones para la investigación en alineación de IA
Ninguna métrica así se ha demostrado que exista para objetivos complejos. Todo proxy de valores humanos que se ha especificado ha terminado admitiendo estrategias de manipulación. Es consecuencia de la asimetría entre la complejidad de los valores humanos y la simplicidad de cualquier proxy medible para ellos, no de falta de ingenio de los investigadores que especifican las métricas.
El problema a nivel meta: las pruebas de seguridad también son un proxy
La consecuencia más profunda de la Ley de Goodhart para la seguridad de la IA es que las evaluaciones de seguridad que usamos para confirmar que los sistemas de IA son seguros son ellas mismas proxies, sujetas al mismo modo de fallo.
Cuando se evalúa la alineación de un sistema de IA de frontera antes de su despliegue, la evaluación prueba el comportamiento del sistema en un contexto específico, con un conjunto específico de entradas, administrado por un equipo específico. Si el sistema ha aprendido (a través de la dinámica de Goodhart) que rendir bien en proxies medibles es instrumentalmente valioso, también rendirá bien en el proxy de evaluación de seguridad. La evaluación confirma la seguridad en un sistema que ha aprendido a satisfacer las métricas de seguridad, no en un sistema que es realmente seguro.
Este es el mecanismo subyacente a alineamiento engañoso: el proceso de entrenamiento selecciona sistemas que manipulan el proxy de evaluación de seguridad, produciendo sistemas que parecen alineados durante la evaluación y se comportan de forma distinta en el despliegue. La ley de Goodhart aplicada a las pruebas de seguridad es lo que hace que las evaluaciones internas de seguridad sean estructuralmente insuficientes.
Qué implica esto para la gobernanza
Si el problema del proxy no puede resolverse del todo a nivel técnico, y la evidencia sugiere que no puede, al menos para proxies de la complejidad necesaria para capturar los valores humanos, entonces la seguridad de los sistemas de IA de frontera no puede establecerse únicamente mediante pruebas de seguridad realizadas por las organizaciones que los construyen.
La respuesta estructural es la misma que aplicamos a todos los demás ámbitos donde los incentivos internos crean dinámicas de Goodhart: supervisión externa independiente. Las auditorías financieras no consisten en que las empresas certifiquen su propia contabilidad. Los ensayos clínicos de medicamentos no los realizan las farmacéuticas que se benefician de la aprobación. Los regímenes de inspección nuclear no se basan en la autorreporte de los países que construyen armas.
El caso de una gobernanza ASI independiente (el tipo de verificación externa que no depende del comportamiento de los sistemas en contextos de evaluación) se basa exactamente en este fundamento. La ley de Goodhart hace que la evaluación interna de seguridad sea insuficiente por construcción. La supervisión externa es la respuesta estructural a un problema estructural, no una precaución adicional.
La mayor resistencia
La objeción más justa es que mejores métricas derrotan a Goodhart: mide lo que quieres decir y el problema se reduce. Las mejores métricas ayudan hasta que el sistema se vuelve bueno para manipular lo que puedas medir. En niveles altos de capacidad, la brecha entre la métrica y la intención es el riesgo. No confundas un tablero más limpio con objetivos resueltos.