Corea del Sur y el Reino Unido coorganizaron la Cumbre de IA de Seúl, la segunda reunión de la serie iniciada en Bletchley Park en noviembre de 2023. La agenda se dividió limpiamente. En la vía corporativa, los principales desarrolladores asumieron compromisos públicos de seguridad. En la vía gubernamental, los Estados acordaron profundizar la cooperación en ciencia de evaluación. Lo que entregó cada vía y lo que dejó abierto sigue siendo la lectura más clara de dónde estaba la gobernanza de ASI en 2024.

Ambas salidas eran reales. Ninguna era ley.

Los compromisos de seguridad de la IA de frontera

El documento principal fue los Compromisos de Seguridad de IA de Frontera, firmado por dieciséis grandes empresas de IA, incluidos desarrolladores de Estados Unidos, China, el Reino Unido y los Emiratos Árabes Unidos. Las empresas se comprometieron a publicar marcos de seguridad que describan cómo evalúan los riesgos de los modelos de frontera; a definir umbrales de riesgo que consideren intolerables; y, de forma crucial, a no desarrollar ni desplegar modelos si esos umbrales no pudieran mantenerse por debajo de esa línea, incluido el compromiso de retroceder si fallan las mitigaciones.

El cambio significativo fue de principio público. Los principales desarrolladores declararon, de manera oficial, que ciertas capacidades son demasiado peligrosas para desplegarse y que definirían líneas rojas y actuarían en consecuencia. La industria pasó de vagas promesas a límites declarados. Los límites seguían siendo autodefinidos.

Por qué los compromisos voluntarios no son suficientes

  • Las empresas establecen sus propios umbrales. Cada desarrollador define el riesgo intolerable y cómo medirlo. No existe un estándar común ni un organismo externo que valide las definiciones.
  • Sin verificación independiente. Nada confirma que se siga un marco de seguridad interno, o que las evaluaciones sean honestas. El cumplimiento depende de la palabra del desarrollador.
  • Sin aplicación. Romper una promesa acarrea como mucho un coste reputacional. Las promesas no son ley.
  • Pueden revisarse o abandonarse. Los compromisos voluntarios bajo presión competitiva pueden erosionarse silenciosamente cuando un rival avanza. La autorregulación es tan frágil.

La objeción popular es que pedirles a los laboratorios que se autorregulen es mejor que nada. Cierto, e insuficiente. Una promesa que el propio promitente puede definir, medir y romper solo es un sustituto de la gobernanza. Los sustitutos solo ayudan si algo más exigente los reemplaza a propósito.

La red de institutos de seguridad

La vía gubernamental produjo algo con mayor potencial de durabilidad: impulso hacia una red internacional de institutos de seguridad de IA. Basándose en los organismos recién creados por el Reino Unido y Estados Unidos, los Estados acordaron cooperar en la ciencia de evaluar modelos de frontera, compartir métodos, alinear pruebas y construir la capacidad técnica que cualquier régimen de verificación futuro necesitará. Los organismos públicos que puedan evaluar realmente si un modelo es peligroso son el tejido conectivo que un tratado requiere eventualmente. Véase la guía de la Fundación sobre qué es un instituto de seguridad de IA.

La Declaración de Seúl, respaldada por los gobiernos reunidos, reafirmó una IA centrada en el ser humano, segura y confiable, y la cooperación internacional continua. Como el texto de Bletchley, fue una declaración de rumbo más que un conjunto de obligaciones.

El patrón y la brecha

Seúl sigue un patrón conocido en la gobernanza de tecnologías peligrosas: reconocimiento, luego compromisos voluntarios y, si el proceso avanza, normas vinculantes. Las promesas corporativas y la red de institutos son la segunda etapa. El trabajo pendiente es la tercera: normas comunes, verificación independiente y obligación legal.

Los institutos de seguridad son el puente más prometedor, porque la capacidad que construyen es exactamente la que usaría un régimen vinculante. El riesgo es que el proceso de cumbres se estanque en la etapa voluntaria, que el mundo se conforme con promesas porque las promesas son más fáciles que los tratados, mientras las capacidades siguen avanzando. Seúl hizo visible la brecha entre compromiso y gobernanza. Cerrarla es la tarea que queda. La posición de la Fundación es que cerrarla significa pasar de las promesas de las empresas a ley internacional preventiva antes de que las líneas rojas autodefinidas se disuelvan bajo la presión de la carrera. Lecturas relacionadas: por qué los compromisos voluntarios de seguridad en IA fallan como estrategia única.