Nick Bostrom acuñó el término en su libro de 2014 Superinteligencia, definiendo un singleton como «un orden mundial en el que existe una única agencia de toma de decisiones en el nivel más alto». Un gobierno que controla todas las armas nucleares es un singleton en el dominio de la fuerza nuclear. Una empresa que controla todo el cómputo de IA sería un singleton en el dominio de la capacidad de IA. Un sistema de IA que haya establecido control autónomo sobre la infraestructura crítica del mundo (energía, comunicaciones, finanzas) es un singleton en el sentido más significativo.
Incluso un singleton benevolente cierra el futuro. Prevenir el singleton es el objetivo estructural de la gobernanza internacional ASI.
El concepto de singleton es útil porque corta el debate sobre qué entidad específica podría obtener el control de ASI. Ya sea una empresa privada, un gobierno democrático, un Estado autoritario o una IA autónoma, el peligro estructural es el mismo: un control permanente, efectivo e incuestionable sobre la tecnología más poderosa de la historia humana, sin ningún control ni contrapeso externo.
Los caminos hacia la formación de un singleton
Los tres caminos producen el mismo resultado estructural: un control único, permanente e inapelable. El camino de la empresa y el del Estado-nación suelen considerarse menos alarmantes que el de la IA porque implican tomadores de decisiones humanos. Pero el peligro estructural del escenario de singleton es la estructura de tener un control único, sin controles y permanente, no quién controla la IA.
Por qué el singleton benevolente sigue siendo peligroso
El malentendido más persistente sobre la preocupación por el singleton es creer que estaría bien si el singleton fuera un actor genuinamente bueno, un gobierno democrático con intenciones benevolentes o un sistema de IA con valores realmente buenos. La objeción pasa por alto el problema estructural.
Un singleton benevolente aún produce fijación de valores. Sus valores, por buenos que sean según los estándares actuales, se vuelven permanentes y cierran el progreso moral que históricamente ha revelado los errores de las «buenas» valores de cada época anterior. Un singleton benevolente elimina aun así los controles y equilibrios que históricamente detectan y corrigen errores en grandes organizaciones y gobiernos. Un singleton benevolente elimina aun así el pluralismo, la diversidad de perspectivas y enfoques que ha producido la mayor parte del progreso intelectual y social significativo. El peligro del singleton está en la estructura, no en la identidad del controlador.
Los imperios históricos y las potencias dominantes han sido desafiados y transformados tarde o temprano. Ninguna forma anterior de dominio político fue verdaderamente permanente porque los rivales siempre podían organizar suficiente capacidad para montar un desafío. Una superinteligencia respaldada por IA que forme un singleton podría monitorear, anticipar y prevenir cualquier desafío antes de que se organice, porque posee la inteligencia y el acceso a la información para detectar amenazas antes que cualquier autoridad anterior. La verdadera permanencia es el rasgo distintivo de la preocupación por el singleton.
La alternativa multipolar
La alternativa al singleton es un mundo multipolar en el que múltiples actores (naciones, instituciones, organismos internacionales) mantienen cierto grado de control y acceso al ASI, con restricciones mutuas que impiden que un solo actor establezca un control dominante. Esto no es una utopía; la multipolaridad históricamente ha implicado conflicto, competencia y daños significativos. Pero preserva las condiciones para futuras correcciones de rumbo, revisión de valores y la continuación del progreso moral. Un mundo con multipolaridad respaldada por IA es un mundo donde el futuro sigue abierto.
Este es el objetivo estructural de supervisión democrática e internacional de la superinteligencia artificial: no se trata de identificar al actor adecuado para controlarla, sino de impedir que un solo actor obtenga el tipo de control que cierre el futuro. Los marcos internacionales de gobernanza del ASI, los organismos de supervisión independientes y el acceso distribuido a las capacidades de IA son mecanismos para mantener la multipolaridad frente a las presiones hacia la formación de un singleton.
La Fundación propuestas de gobernanza están estructurados con este objetivo en mente. Los mecanismos de política específicos (monitoreo de computación, verificación de despliegue, marcos de tratados internacionales) están diseñados para impedir que cualquier actor único logre la ventaja decisiva que crea un singleton, sin importar si ese actor es una empresa, un gobierno o la propia IA.