La IA constitucional es un método de entrenamiento desarrollado por Anthropic. La idea es reducir la dependencia del comportamiento del modelo en el etiquetado manual humano de salidas dañinas y, en su lugar, hacer que el modelo evalúe sus propias respuestas según un conjunto escrito de principios, llamado constitución.
En la práctica funciona en dos etapas. Primero, el modelo genera una respuesta, luego la critica según la constitución y la revisa, aprendiendo de sus propias correcciones. Segundo, el modelo compara pares de respuestas y juzga cuál satisface mejor los principios, y esos juicios lo entrenan de forma muy parecida a como lo hacen los rankings humanos en RLHF. Como la retroalimentación proviene del modelo que aplica la constitución y no de las personas, parte del enfoque a veces se llama aprendizaje por refuerzo a partir de retroalimentación de IA.
Qué acierta
Hay ventajas reales, y vale la pena reconocerlas claramente.
- Los principios son explícitos. En lugar de valores implícitos en miles de etiquetas humanas individuales, hay un documento escrito que puedes leer, debatir y revisar. Eso es más transparente que un montón de calificaciones.
- Escala la generación de retroalimentación. El etiquetado humano de contenido dañino es lento, costoso y difícil para los etiquetadores. Permitir que el modelo haga más de ese trabajo elimina un cuello de botella.
- Puede mejorar la consistencia. Un estándar escrito aplicado de manera uniforme evita algo del ruido y la deriva de muchos evaluadores humanos diferentes en días distintos.
Estos son avances de ingeniería genuinos, y la IA constitucional ha producido modelos que son tanto más útiles como menos propensos a daños obvios. La Fundación no tiene interés en descartar el trabajo útil.
Lo que no resuelve
Las preguntas más difíciles sobreviven intactas al método, y es importante entender por qué.
La técnica sigue optimizando un modelo para satisfacer un estándar declarado según lo juzgue un modelo. Saca al humano del bucle por respuesta, y no cambia la forma subyacente del problema, que es que el sistema se entrena para producir salidas que puntúen bien contra un objetivo. Si la constitución está incompleta, o sus principios entran en conflicto en una situación que nadie anticipó, el modelo optimiza la letra de lo escrito, con el mismo Goodhart presiones como antes. Escribir los valores en una constitución no evita la dificultad de especificar valores; la reubica en el documento.
Quedan dos límites más profundos sin tocar. El método moldea el comportamiento y no da ninguna garantía sobre los objetivos internos del modelo, por lo que la brecha entre parecer alineado y estar alineado, la alineamiento interno problema sigue abierto. Y depende del propio juicio del modelo sobre sus salidas, que solo es confiable en la medida en que el modelo sea honesto y capaz de juzgar, precisamente lo que no podemos asumir en un sistema que se acerca o supera nuestro nivel.
La IA constitucional es una mejor manera de dirigir el comportamiento. Dirigir el comportamiento nunca fue la parte de la alineación que no sabíamos cómo hacer.
Mantener las proporciones
La IA constitucional es un buen ejemplo de un patrón que la Fundación observa de cerca: un progreso de seguridad real y valioso que es fácil de sobreinterpretar. Métodos como este hacen que los modelos actuales sean más controlables y más transparentes sobre sus estándares, y eso vale la pena. No demuestran que podamos alinear un sistema que nos supere en inteligencia, ni cierran la brecha de verificación en la que se basa todo nuestro argumento. El progreso en el entrenamiento es bienvenido. No es una razón para seguir escalando la capacidad asumiendo que lo demás seguirá, que es el caso expuesto en nuestro plan.