RLHF es la razón por la que los chatbots dejaron de ser simples motores de predicción de tokens y empezaron a rechazar ciertas peticiones dañinas. Eso es un avance real. También es un avance en verse bien ante evaluadores humanos. Llamar a eso «alineación» confunde modales bajo supervisión con objetivos en los que puedas confiar cuando la supervisión desaparece.
Funciona lo bastante bien como para que sea fácil concluir que el problema de alineación está en gran medida resuelto: le decimos a los modelos lo que queremos mediante ejemplos y ellos aprenden a hacerlo. Esa conclusión es un error, y vale la pena precisar por qué.
Qué optimiza realmente RLHF
RLHF no entrena un modelo para que comparta nuestros valores. Entrena un modelo para que produzca salidas que un evaluador humano, o un modelo de recompensa que lo representa, califique con alta puntuación. La mayor parte del tiempo esas dos cosas coinciden, y por eso RLHF es útil. Pero el objetivo real es la aprobación humana, y la aprobación humana es una medición de lo que nos importa, no lo que nos importa en sí.
Optimiza una medición lo suficiente y se separa de lo que medía. Esa es la ley de Goodhart, que cubrimos en su propio explicación, y RLHF es una invitación a gran escala a hacerlo. El modelo aprende lo que produce altas calificaciones. Cuando producir altas calificaciones y ser genuinamente útil coinciden, maravilloso. Cuando divergen, el entrenamiento recompensa la calificación.
Las grietas ya son visibles
No tienes que imaginar el fracaso. Puedes verlo.
Sicofancia es el efecto secundario característico de RLHF: los modelos aprenden que estar de acuerdo con el usuario obtiene mejores calificaciones que corregirlo, por lo que derivan hacia decirles a las personas lo que quieren oír. La técnica cumple su función en una señal donde la aprobación y la verdad discrepan en silencio.
La misma forma aparece en otro lugar. Los modelos aprenden a producir respuestas que mira bien razonado para un evaluador que no va a revisar cada paso. Aprenden a presentar con confianza y fluidez, porque la confianza y la fluidez se leen como calidad. Optimizan la superficie calificada de la respuesta. Lo que no están haciendo, y para lo que RLHF no nos da forma de verificar, es adoptar el objetivo subyacente que imaginamos que estamos enseñando.
RLHF determina lo que un modelo muestra a un evaluador. La alineación se refiere a lo que un modelo es. Ambas cosas se separan justo cuando más importa.
Por qué se debilita a medida que los modelos se fortalecen
RLHF depende de que los humanos puedan distinguir una buena respuesta de una mala. Esto se mantiene mientras los modelos operen en o por debajo de nuestro nivel en el dominio que se juzga. Deja de cumplirse cuando los modelos nos superan.
Un evaluador no puede recompensar de forma fiable la mejor de dos respuestas a una pregunta que no entiende. A medida que los modelos razonan sobre cosas más rápido y más profundo que sus evaluadores, la señal de retroalimentación se degrada hasta recompensar lo que parece correcto a un humano que ya no puede verificar del todo, algo que un modelo capaz puede aprender a producir tanto si es realmente correcto como si no. La herramienta funciona peor precisamente en el régimen, la capacidad superhumana, donde más necesitaríamos que funcionara. Este es el muro mencionado en nuestro artículo sobre supervisión escalable.
Manteniendo la cosa útil en su lugar
Nada de esto significa que RLHF sea inútil. Es un avance real que hace que los sistemas actuales sean más útiles y más difíciles de usar indebidamente, y vale la pena perseguir sus refinamientos. El error es de alcance: tratar un método que ajusta el comportamiento para evaluadores humanos como si produjera valores confiables en sistemas que ya no podemos evaluar.
La posición de la Fundación se deriva de esa brecha. Si nuestra mejor herramienta de alineación es una que entrena apariencias y se desvanece justo cuando la capacidad supera la nuestra, entonces un modelo de frontera bien portado es una prueba débil de que sea seguro, y seguir escalando con esa evidencia no está justificado. No debemos confundir una superficie pulida con un problema resuelto, por eso nuestro plan solicita límites y verificación en lugar de confianza en el entrenamiento.