El mundo tiene su primer tratado de IA.
Esto es lo que no cubre.

El 5 de septiembre de 2024, en Vilna, Lituania, representantes de Estados Unidos, el Reino Unido, la Unión Europea y decenas de otros países firmaron el Convenio Marco sobre Inteligencia Artificial y Derechos Humanos, Democracia y Estado de Derecho. Fue el primer tratado internacional jurídicamente vinculante sobre inteligencia artificial que se haya concluido. Merece entenderse con claridad, tanto por lo que logra como por el problema que nunca fue diseñado para resolver.

Lo que cubre en realidad el tratado

El Convenio Marco es un instrumento de derechos humanos. Sus obligaciones legales se centran en garantizar que los sistemas de IA no socaven la democracia, los derechos humanos ni el Estado de derecho. En la práctica, esto significa:

• Requisitos de transparencia: las personas deben ser informadas cuando los sistemas de IA afectan decisiones sobre ellas
• Mecanismos de rendición de cuentas: los Estados deben garantizar que los desarrolladores e implementadores de IA puedan ser responsabilizados por los daños
• No discriminación: los sistemas de IA no deben producir resultados que violen la ley de igualdad existente
• Remedio efectivo: las personas perjudicadas por la IA deben tener acceso a reparación legal
• Salvaguardas democráticas: la IA no debe usarse para socavar los procesos electorales o el estado de derecho

Son compromisos significativos. Un algoritmo de contratación de IA que discrimina por raza, un sistema de reconocimiento facial desplegado sin transparencia, una campaña de desinformación generada por IA: todo esto se aborda directamente en el marco del tratado. Los firmantes han aceptado obligaciones vinculantes para prevenirlos.

El mecanismo de cumplimiento es una Conferencia de las Partes que revisa la implementación y puede emitir recomendaciones. Es más suave que el régimen de verificación de la Convención sobre Armas Químicas o los protocolos de inspección del Tratado de No Proliferación Nuclear, pero establece el principio de que la IA está sujeta al derecho internacional vinculante; ese principio no existía antes de septiembre de 2024, y su establecimiento es un avance real.

Lo que el tratado no cubre

La Convención Marco rige cómo se usa la IA en la sociedad. No rige si deben desarrollarse en primer lugar los sistemas de IA que podrían suponer un riesgo civilizacional.

El marco de riesgo del tratado está calibrado para los daños presentes y cercanos de la IA, los daños genuinos y serios que los sistemas de IA actuales ya están causando. Ese es el alcance correcto para un instrumento diseñado para proteger los derechos humanos en sociedades afectadas por la IA. Es el alcance equivocado para un instrumento diseñado para prevenir una catástrofe civilizacional por superinteligencia artificial.

En ninguna parte del texto del tratado aparece la palabra «superinteligencia». En ninguna parte impone obligaciones a la carrera de desarrollo de IA de frontera. No dice nada sobre gobernanza de computación, sobre el tamaño de los entrenamientos, sobre el problema de alineación ni sobre el escenario que preocupa a Geoffrey Hinton, Yoshua Bengio y a los demás investigadores cuyas advertencias se han acumulado en la última década.

¿Por qué importa esta distinción?

El peligro de confundir la Convención Marco con una gobernanza adecuada es un resultado natural del proceso político que produce los acuerdos internacionales, no una hipótesis: una vez que existe un tratado, la presión política para producirlo se ha satisfecho. Los países que firmaron la Convención Marco pueden señalarla como prueba de que la IA está siendo gobernada. La conversación más difícil (sobre si los sistemas de IA más capaces que se están desarrollando deben estar sujetos a restricciones internacionales vinculantes sobre su desarrollo, no solo su despliegue) no se vuelve más fácil después de que se haya declarado un hito de gobernanza.

La Convención Marco regula la misma IA que ya rigen las leyes de derechos humanos e igualdad existentes; extiende esos principios al ámbito de la IA y los hace vinculantes a nivel internacional. Eso tiene valor. No es, sin embargo, una respuesta al riesgo de que un sistema de IA suficientemente capaz, con objetivos sutilmente desalineados del bienestar humano, cause un daño a una escala que ningún recurso legal pueda abordar porque el daño es irreversible.

"El objetivo es que el desarrollo de IA vaya bien tanto para la IA como para los humanos. Eso requiere tratarlo como el problema civilizacional que es, no como una cuestión de responsabilidad del producto."

Qué requeriría un tratado de seguridad de IA de frontera

Un tratado diseñado para abordar el riesgo de la superinteligencia artificial se vería bastante diferente de la Convención Marco. El marco propuesto por Nakada Foundation describe lo que tal tratado necesitaría incluir:

• Gobernanza del cómputo: límites vinculantes sobre los recursos computacionales que se pueden aplicar a un solo entrenamiento, respaldados por verificación a nivel de hardware. El cómputo es el cuello de botella en el desarrollo de IA de frontera y la única variable actualmente medible y exigible a nivel internacional.
• Verificación independiente: un mecanismo de monitoreo análogo a las inspecciones nucleares, que permite a las partes verificar el cumplimiento en lugar de depender de informes propios de las organizaciones con más que ganar por el incumplimiento.
• Cobertura de IA de frontera: obligaciones que se aplican específicamente al desarrollo de los sistemas de IA más capaces, no solo a su implementación en contextos sociales.
• US-China inclusión: cualquier tratado que no vincule a las dos naciones líderes en desarrollo de IA será estructuralmente inadecuado, sin importar cuántos otros países lo firmen.

La Convención Marco es un primer paso necesario. El reconocimiento de que la IA está sujeta al derecho internacional vinculante es un precedente importante. Pero el historia de la gobernanza de tecnologías existenciales (nuclear, químico, biológico) muestra que el primer tratado en un dominio rara vez aborda el riesgo más serio. Se necesita un esfuerzo político sostenido, a lo largo de años, para construir los marcos que realmente restrinjan lo más peligroso.

Ese esfuerzo político necesita comenzar ahora, no después de que se declare que la Convención Marco ha resuelto el problema, y no después de que existan las capacidades que hacen imposible hacer cumplir restricciones vinculantes.