En la Casa Blanca en julio de 2023, siete empresas líderes de IA US, entre ellas OpenAI, Anthropic, Google, Meta y Microsoft, se comprometieron a un conjunto de medidas voluntarias de seguridad, protección y transparencia. En la Cumbre de Seguridad de la IA de Bletchley en noviembre de 2023, veintiocho países firmaron una declaración reconociendo la preocupación compartida por los riesgos de la IA de frontera. En la Cumbre de Seguridad de la IA de Seúl en junio de 2024, dieciséis empresas de IA firmaron los Compromisos de Seguridad de la IA de Frontera, que abarcan umbrales de seguridad, evaluaciones de modelos e intercambio de información.
Los compromisos voluntarios de seguridad corporativa tienen una larga historia en otras industrias, y esa historia es instructiva sobre lo que pueden y no pueden lograr.
Son logros políticos significativos. Representan la primera vez que los principales desarrolladores de sistemas de IA de frontera han aceptado públicamente que su trabajo plantea riesgos graves y que alguna forma de gobernanza es apropiada. Descartarlos sería un error. Pero aceptarlos como suficientes sería un error más costoso.
Qué exigen en realidad los compromisos voluntarios
Los Compromisos de Seguridad de IA de Frontera firmados en Seúl son los más sustantivos de los principales compromisos. Los firmantes se comprometieron a: identificar umbrales de seguridad en los que no desplegarían ni continuarían entrenando un modelo; realizar y publicar evaluaciones de sus modelos de frontera contra esos umbrales; compartir información sobre incidentes de seguridad y evaluaciones con gobiernos y otras empresas de IA; e invertir en investigación de seguridad. Estos son compromisos genuinos en el sentido de que requieren acciones visibles que pueden observarse y comentarse públicamente.
Lo que no exigen: verificación externa independiente de si se cumplen los umbrales; consecuencias vinculantes por incumplimiento; ningún mecanismo de aplicación contra un firmante que no llegue; y participación de empresas que eligen no firmar. Los compromisos son declaraciones aspiracionales de intención por parte de empresas que conservan plena discreción sobre cómo interpretarlos e implementarlos.
Esta es la estructura de un compromiso voluntario, y la distinción con una obligación vinculante no es sutil. Un compromiso voluntario obliga a la parte moral y reputacionalmente. Una obligación legal vinculante la obliga en derecho, con consecuencias formales por incumplimiento. La brecha entre obligación moral y legal es precisamente donde se toman las decisiones de seguridad más importantes bajo presión competitiva.
El patrón de otras industrias de alto riesgo
Los compromisos voluntarios de seguridad corporativa han precedido a la regulación vinculante en la mayoría de las industrias de alto riesgo, y el patrón de lo que esos compromisos lograron y no lograron es bastante consistente.
En los servicios financieros, los principales bancos desarrollaron códigos y prácticas de gestión de riesgos liderados por la industria a lo largo de los años noventa y principios de los dos mil. Estos códigos estaban vigentes y nominalmente en operación cuando la crisis financiera de 2007 a 2009 reveló que la gestión voluntaria de riesgos no había logrado impedir la acumulación de riesgo sistémico. Le siguieron la Junta de Estabilidad Financiera, el marco de Basilea III y requisitos ampliados de divulgación obligatoria. Los compromisos voluntarios habían mejorado las prácticas de base, pero resultaron insuficientes en los riesgos de cola donde los costos del fracaso eran más altos.
En la industria química, el programa Responsible Care se lanzó en 1985 tras una serie de graves accidentes en plantas químicas, incluido el de Bhopal en 1984. Las empresas participantes se comprometieron a mejorar el desempeño en seguridad, salud y medio ambiente y a informar de forma transparente sobre sus avances. Responsible Care mejoró la cultura de seguridad de la industria y redujo la incidencia de accidentes rutinarios en las décadas siguientes. No evitó incidentes significativos y finalmente se complementó con requisitos regulatorios vinculantes. La propia evaluación del programa concluyó que su mayor limitación era la ausencia de verificación independiente.
El programa Responsible Care de la industria química, lanzado en 1985, es el paralelo histórico más cercano a los actuales compromisos de seguridad de la IA: una promesa voluntaria de la industria que abarca seguridad, transparencia e intercambio de información. La propia evaluación del programa tras dos décadas encontró que su principal limitación era la ausencia de verificación independiente del desempeño reportado. La misma limitación es estructural en los compromisos actuales de seguridad de la IA, y produce la misma brecha: compromiso con resultados sin ningún mecanismo para confirmar si se están logrando.
La seguridad de las centrales nucleares en Estados Unidos se rigió inicialmente sobre todo por la autorregulación y las normas de la industria. El accidente de Three Mile Island en marzo de 1979 demostró que la cultura voluntaria de seguridad de la industria era insuficiente para una tecnología cuyos modos de fallo podían afectar a grandes poblaciones. Siguió el marco de supervisión obligatoria de la Comisión Reguladora Nuclear, con inspecciones independientes, informes obligatorios de incidentes y normas operativas vinculantes. La industria se opuso entonces a la regulación obligatoria; hoy se le reconoce generalmente haber producido las mejoras en la cultura de seguridad que los enfoques voluntarios no habían logrado.
El problema de la presión competitiva
Los compromisos voluntarios tienen una vulnerabilidad estructural que la regulación vinculante no tiene: el problema de la presión competitiva. Si un compromiso genera un costo real, como ralentizar los plazos de desarrollo, exigir evaluaciones de seguridad costosas o excluir aplicaciones de altos ingresos, cualquier empresa que no firme el compromiso obtiene ventaja competitiva al evitar ese costo. Las empresas que sí firman enfrentan la opción de relajar su interpretación del compromiso para seguir siendo competitivas o absorber el costo y quedarse atrás.
Esta dinámica no es hipotética en el sector de la IA. Las empresas que firmaron los Compromisos de Seguridad de la IA de Frontera en Seúl compiten directamente con empresas y programas estatales de China que no firmaron ningún documento equivalente. También compiten entre sí, y los compromisos que firmaron están redactados de forma tan amplia que es inevitable que surjan desacuerdos interpretativos razonables sobre lo que exige el cumplimiento.
La regulación vinculante resuelve esto creando un piso que todos los competidores deben cumplir, eliminando la ventaja competitiva de la falta de cumplimiento. Por eso la regulación vinculante produce resultados de seguridad que los compromisos voluntarios generalmente no pueden: elimina la estructura de incentivos que hace atractivos los atajos de seguridad.
Qué logran bien los compromisos voluntarios
La función más valiosa de los compromisos voluntarios en la historia de la gobernanza de seguridad industrial ha sido el establecimiento de normas. Los compromisos voluntarios crean un registro del reconocimiento de la industria de que existe un problema y de que ciertas prácticas son respuestas adecuadas. Ese registro se convierte en la base sobre la que trabaja la regulación vinculante.
Cuando los reguladores o legisladores lleguen a la gobernanza ASI, los Compromisos de Seguridad de la IA de Frontera ya habrán establecido que las principales empresas aceptan la legitimidad de los umbrales de seguridad, las evaluaciones de modelos y el intercambio de información como conceptos de gobernanza. La industria estará en una posición más débil para argumentar que estos requisitos son técnicamente inviables o comercialmente inapropiados, habiendo ya asumido compromisos voluntarios con ellos. En este sentido, los compromisos voluntarios son un primer paso hacia una gobernanza vinculante, no un sustituto de ella.
Los compromisos voluntarios también crean infraestructura institucional. Los compromisos de Seúl obligaron a las empresas a desarrollar procesos internos para establecer umbrales de seguridad y evaluar modelos. Estos procesos, y el conocimiento institucional que contienen, son la base sobre la que puede construirse un régimen de verificación vinculante. Un organismo regulador que supervise evaluaciones obligatorias de seguridad de la IA podrá aprovechar prácticas empresariales ya existentes en lugar de diseñar desde cero la infraestructura de cumplimiento.
"Los compromisos voluntarios cumplen una función útil en la etapa inicial del desarrollo de la gobernanza, y los compromisos de Bletchley y Seúl han hecho algo real. Pero la historia de todas las industrias de alto riesgo importantes muestra lo mismo: los compromisos voluntarios mejoran las prácticas de base y fallan en los riesgos de cola. Los riesgos de cola son exactamente para los que estamos gobernando con la superinteligencia."
Lo que requiere la gobernanza vinculante que los compromisos voluntarios no pueden proporcionar
Cuatro elementos distinguen la gobernanza vinculante de la voluntaria, y los cuatro importan para la IA de frontera.
Verificación independiente. Un compromiso voluntario se informa por uno mismo. Una obligación vinculante está sujeta a verificación por terceros, ya sea por un organismo regulador, una agencia internacional de inspección o un auditor independiente con personalidad jurídica. La autoinformación produce información precisa cuando las organizaciones que informan no tienen incentivo para tergiversar. En los mercados competitivos, esa condición rara vez se cumple.
Consecuencias definidas por incumplimiento. Los compromisos voluntarios generan un costo reputacional por incumplimiento, que es real pero limitado. Las obligaciones vinculantes crean consecuencias legales: multas, revocación de licencias, restricciones de acceso al mercado o sanciones basadas en tratados. La credibilidad de un marco de gobernanza depende de la credibilidad de sus consecuencias.
Cobertura de los no firmantes. El desarrollo de IA más trascendental podría provenir de empresas o gobiernos que nunca firmen un compromiso voluntario. La regulación nacional vinculante y las obligaciones de tratados internacionales crean una gobernanza que se aplica a los actores independientemente de si consienten de antemano. Un marco de compromisos voluntarios deja fuera a los actores más propensos a crear riesgos graves si deciden no participar.
Estabilidad ante cambios de liderazgo. Los compromisos voluntarios vinculan al liderazgo actual de una empresa. Cuando cambia el liderazgo, cambia la composición de la junta o se intensifica la presión competitiva, el compromiso no tiene fuerza legal para sobrevivir a esos cambios. La regulación vinculante está incorporada en la ley y sobrevive a los cambios organizacionales ordinarios.
Los compromisos voluntarios asumidos en Bletchley y Seúl son logros genuinos sobre los que se debería construir. Construir sobre ellos significa reconocer honestamente lo que logran y lo que no pueden lograr, y usar el impulso político e institucional que representan para buscar una gobernanza vinculante que llene los vacíos que dejan abiertos.
La mayor resistencia
La objeción más justa es que las reglas voluntarias son la forma en que maduran las industrias y que exigir ley primero congela el progreso. Las reglas voluntarias ayudan cuando revelan. Fallan cuando la misma empresa escribe, califica y se beneficia de la prueba. El mordiente externo es lo que hace real la madurez.