La gobernanza sin una base científica compartida es una negociación sin un mapa común. Las negociaciones climáticas antes de 1990 ilustran este problema: los gobiernos que discutían si el calentamiento causado por humanos estaba ocurriendo en absoluto no podían ponerse de acuerdo sobre qué nivel de respuesta era adecuado, porque partían de premisas fácticas incompatibles. El primer informe de evaluación de IPCC, publicado en 1990, estableció que el calentamiento estaba ocurriendo y era atribuible a la actividad humana. No puso fin a las disputas políticas sobre qué hacer, pero cambió el carácter de esas disputas: de discusiones sobre si existía un problema a discusiones sobre cómo responder a uno.
Antes del IPCC, la ciencia del clima era un terreno disputado. Tras tres décadas de informes de evaluación del IPCC, la base científica para la política climática está efectivamente asentada, más allá de las disputas políticas sobre la respuesta. El riesgo de IA necesita el mismo tipo de síntesis autorizada. Lo que se necesitaría para construir un organismo equivalente es una pregunta con una respuesta concreta.
La política del riesgo de IA se encuentra en un estado pre-IPCC. No existe un organismo internacional autorizado que sintetice la evidencia sobre los riesgos de la IA de frontera, evalúe la probabilidad y el carácter de los resultados catastróficos y produzca hallazgos que los gobiernos consideren la base fáctica compartida para las decisiones de gobernanza. Esta brecha no es un inconveniente menor. Las negociaciones de gobernanza que comienzan sin premisas fácticas compartidas tienden a producir marcos moldeados más por intereses estratégicos que por la naturaleza del riesgo que se gobierna.
Cómo IPCC construyó realmente el consenso
El IPCC no realiza investigación original. Sintetiza la investigación revisada por pares existente, producida por miles de científicos en universidades e institutos de investigación de todo el mundo, en informes de evaluación exhaustivos. El proceso de síntesis involucra a cientos de autores expertos que revisan y resumen la literatura publicada en sus áreas de especialización. El resumen para responsables de políticas, la sección que realmente leen los gobiernos y los periodistas, se produce mediante una negociación línea por línea entre los autores científicos y los representantes gubernamentales de los 195 países miembros del IPCC.
Este proceso de negociación es la fuente de la autoridad política de IPCC, pero también de su carácter conservador. Cualquier gobierno puede objetar el lenguaje específico del resumen, y el proceso exige que se atiendan las objeciones antes de adoptar el resumen. Esto significa que el resumen refleja el mínimo común denominador de lo que todos los gobiernos participantes aceptarán, que casi siempre es más cauteloso que lo que la ciencia subyacente respaldaría si se leyera sin filtros políticos. Los resúmenes de IPCC subestiman sistemáticamente la urgencia en comparación con los informes de evaluación completos que resumen, porque el lenguaje del resumen debe sobrevivir a la revisión gubernamental.
A pesar de este sesgo conservador, las evaluaciones de IPCC han sido trascendentales. La progresión desde el primer informe de evaluación de 1990, que estableció el caso científico básico del calentamiento causado por el ser humano, hasta el sexto ciclo de evaluación completado en 2022, que caracterizó la evidencia como inequívoca y los riesgos como graves y generalizados, ha producido un cambio normativo acumulativo que ha hecho cada vez más difícil que los gobiernos nieguen públicamente los hechos básicos del cambio climático. El costo político de la negación ha aumentado con cada ciclo de evaluación porque la autoridad de IPCC es reconocida en prácticamente todos los sistemas políticos.
La alternativa Pugwash
Antes del IPCC, la interfaz ciencia-política más influyente para el riesgo existencial fueron las Conferencias Pugwash sobre Ciencia y Asuntos Mundiales. Pugwash comenzó en 1957 en respuesta al Manifiesto Russell-Einstein, una declaración de 1955 firmada por Albert Einstein, Bertrand Russell y otros nueve científicos destacados que advertían sobre los peligros de las armas nucleares y exhortaban a los gobiernos a resolver las disputas por medios pacíficos. La primera Conferencia Pugwash, celebrada en el pueblo de Pugwash, Nueva Escocia, en julio de 1957, reunió a veintidós científicos de diez países, entre ellos Estados Unidos, la Unión Soviética y el Reino Unido, para debatir los riesgos de las armas nucleares.
Lo que hizo diferente a Pugwash de los procesos intergubernamentales formales fue su carácter informal. Los participantes asistían como individuos, no como representantes gubernamentales. Las discusiones eran confidenciales. Los científicos de países adversarios podían explorar posiciones e ideas que sus gobiernos no les habían autorizado a promover oficialmente. Esta informalidad hizo posible el tipo de intercambio franco a través de las líneas de la Guerra Fría que era imposible en entornos diplomáticos formales.
Pugwash no produjo tratados. Produjo el trabajo intelectual que las negociaciones formales luego formalizaron. El concepto de destrucción mutua asegurada como base para la estabilidad de la disuasión se refinó en las discusiones de Pugwash antes de convertirse en política oficial del US. El Tratado de Prohibición Parcial de Pruebas (1963) y el Tratado de No Proliferación (1968) se inspiraron en ideas desarrolladas en las discusiones de Pugwash. La organización recibió el Premio Nobel de la Paz en 1995, junto con Joseph Rotblat, su secretario general de larga trayectoria, en reconocimiento de esta contribución al control de armas.
El IPCC y Pugwash representan dos funciones distintas que puede desempeñar una interfaz ciencia-política. El IPCC sintetiza la investigación existente en evaluaciones de consenso autorizadas con legitimidad política derivada de la revisión intergubernamental. Pugwash creó un diálogo informal entre líneas políticas que permitió que las ideas se desarrollaran antes de ser políticamente viables. La gobernanza del riesgo de IA necesita ambas: síntesis sistemática de evidencia para establecer premisas fácticas compartidas para las políticas, y diálogo informal entre distintas geopolíticas para desarrollar conceptos de gobernanza antes de que comiencen las negociaciones formales. Estas funciones podrían desempeñarlas un solo organismo o dos distintos.
Qué debería hacer de forma diferente un panel de riesgos de IA
Un panel internacional sobre el riesgo de la IA modelado en el IPCC enfrentaría varios desafíos sin equivalente en la ciencia climática.
El problema del conocimiento propietario. La mayor parte de lo que se sabe sobre las capacidades y los riesgos de los sistemas de IA de frontera está en manos de un pequeño número de empresas privadas. La literatura de investigación sobre la seguridad de la IA de frontera se publica parcialmente, pero la información más relevante, incluidos los resultados de las evaluaciones internas de capacidades, los resultados de las pruebas de seguridad y los informes de incidentes, es propietaria. El IPCC sintetiza la investigación pública revisada por pares. Un panel de riesgo de IA necesitaría acceso a información no pública para sintetizar la evidencia más relevante, lo que requeriría que los desarrolladores de IA de frontera proporcionen esa información al panel bajo arreglos de confidencialidad definidos. Diseñar esos arreglos es un desafío de gobernanza sustancial sin precedente en IPCC.
El problema del ritmo. IPCC produce informes de evaluación importantes cada cinco a siete años, con actualizaciones intermedias. Ese ritmo se adapta a un fenómeno físico que cambia en escalas de décadas. Las capacidades de la IA avanzan en escalas de meses. Un panel de riesgo de IA necesitaría producir evaluaciones mucho más frecuentes, o establecer una función de supervisión permanente que siga los avances de capacidad en tiempo casi real, para seguir siendo relevante para las decisiones de gobernanza. Los informes más frecuentes serían más difíciles de elaborar mediante el proceso de revisión intergubernamental línea por línea de IPCC, porque ese proceso es lento por diseño.
El problema del conocimiento de doble uso. La ciencia climática es conocimiento de acceso público que no conlleva ningún riesgo de seguridad inherente. La investigación en seguridad de la IA a veces implica entender exactamente cómo podrían usarse indebidamente capacidades peligrosas, lo que genera una tensión entre la transparencia que hace que la evaluación sea autorizada y las preocupaciones de seguridad que aconsejan restringir algunos hallazgos. Un panel de riesgos de IA necesitaría procedimientos para manejar hallazgos sensibles sobre capacidades que IPCC nunca ha tenido que desarrollar.
Por qué la ausencia de un organismo así ya es costosa
La ausencia de un organismo internacional autorizado que sintetice la evidencia de riesgos de IA tiene costos de gobernanza concretos que son visibles ahora mismo.
Las negociaciones de gobernanza parten de premisas fácticas incompatibles. Distintos gobiernos, y distintas facciones dentro de los gobiernos, operan con evaluaciones fundamentalmente diferentes sobre cuándo la superinteligencia artificial podría plantear riesgos catastróficos, cuál es el carácter de esos riesgos y qué medidas de gobernanza los abordarían. Sin una base fáctica compartida, estas negociaciones tienden a producir marcos diseñados en torno a la visión del riesgo más conveniente políticamente, en lugar de la evaluación más precisa.
La comunicación de riesgos está fragmentada e inconsistente. Las advertencias sobre riesgos de ASI provienen de una colección heterogénea de fuentes que incluyen investigadores académicos, equipos internos de seguridad de empresas de IA, think tanks y organizaciones de promoción, sin metodología compartida, sin vocabulario común ni proceso para dirimir desacuerdos. El resultado es un discurso público que oscila entre el desdén y la alarma sin un punto de referencia autorizado fiable. El valor de IPCC para la comunicación climática fue precisamente que proporcionó a periodistas, responsables políticos y al público una única fuente autorizada que podía citarse tanto contra la minimización como contra la exageración.
"El IPCC no creó voluntad política para abordar el cambio climático. Creó la base fáctica compartida que hizo políticamente costoso ignorar el problema. La gobernanza del ASI necesita lo mismo: un organismo con la autoridad y la metodología para establecer qué muestran realmente las pruebas sobre los riesgos de la IA de frontera, de modo que los debates de gobernanza partan de hechos compartidos y no de una incertidumbre estratégicamente conveniente."
El precedente más importante que ofrece el IPCC para la IA no es metodológico, sino político. El IPCC se estableció en 1988, dos años antes de su primer informe de evaluación y treinta y cuatro años antes de que los hallazgos del sexto ciclo de evaluación se describieran como impactos ya generalizados, rápidos e intensificantes. La inversión institucional en la síntesis sistemática de evidencia comenzó mucho antes de que llegara la voluntad política de actuar sobre esa evidencia. Para el riesgo de IA, el equivalente institucional debe comenzar antes de que se cierre la ventana para una gobernanza efectiva, no después.
Un panel sobre el riesgo de la IA con membresía intergubernamental, un mandato para sintetizar investigaciones de seguridad publicadas y, bajo arreglos de confidencialidad apropiados, no publicadas, una cadencia de informes más rápida que la de IPCC y acceso a experiencia técnica independiente proveniente de las comunidades de investigación de seguridad de la IA podría construirse dentro de los marcos institucionales internacionales existentes. No requeriría un tratado. Requeriría un compromiso político de una coalición suficiente de gobiernos para establecerlo y financiarlo. Es el tipo de institución que puede crearse antes de las obligaciones de gobernanza vinculantes y en apoyo de ellas. Si se creará antes de que la tecnología que evaluaría vuelva obsoletas las evaluaciones tempranas es una pregunta cuya ventana de respuesta se está cerrando.
La mayor resistencia
La objeción más justa es que otro panel científico se convierte en un foro de debate mientras los laboratorios siguen enviando sistemas. Riesgo justo. El patrón IPCC es útil cuando obliga a compartir hechos en las salas que redactan las leyes. Un panel sin un camino hacia umbrales y aplicación es teatro. Empareja la evaluación con disparadores.