Nick Bostrom a inventé le terme dans son livre de 2014 Superintelligence, définissant un singleton comme « un ordre mondial dans lequel il existe une seule instance décisionnelle au plus haut niveau ». Un gouvernement qui contrôle toutes les armes nucléaires est un singleton dans le domaine de la force nucléaire. Une entreprise qui contrôlerait tout le compute d'IA serait un singleton dans le domaine des capacités d'IA. Un système d'IA ayant établi un contrôle autonome sur les infrastructures critiques mondiales (énergie, communications, finance) est un singleton au sens le plus significatif.
Même un singleton bienveillant ferme l'avenir. Empêcher le singleton est l'objectif structurel de la gouvernance internationale de ASI.
Le concept de singleton est utile parce qu’il tranche le débat sur quelle entité précise pourrait prendre le contrôle de ASI. Qu’il s’agisse d’une entreprise privée, d’un gouvernement démocratique, d’un État autoritaire ou d’une IA autonome, le danger structurel est le même : un contrôle permanent, effectif et incontestable sur la technologie la plus puissante de l’histoire humaine, sans aucun contrôle ni contrepoids externe.
Les chemins vers la formation d'un singleton
Les trois voies aboutissent au même résultat structurel : un contrôle unique, permanent et incontestable. La voie de l'entreprise et celle de l'État-nation sont souvent perçues comme moins alarmantes que la voie de l'IA parce qu'elles impliquent des décideurs humains. Mais le danger structurel du scénario du singleton réside dans la structure même d'un contrôle unique, non contrôlé et permanent, quel que soit celui qui contrôle l'IA.
Pourquoi le singleton bienveillant reste-t-il dangereux
Le malentendu le plus persistant concernant la préoccupation du singleton est la croyance qu’il serait acceptable si le singleton était un acteur vraiment bon, un gouvernement démocratique aux intentions bienveillantes, ou un système d’IA doté de valeurs vraiment bonnes. L’objection passe à côté du problème structurel.
Un singleton bienveillant produit encore verrouillage des valeurs. Ses valeurs, aussi bonnes soient-elles selon les critères actuels, deviennent permanentes, fermant la porte au progrès moral qui a historiquement révélé les erreurs des « bonnes » valeurs de chaque époque précédente. Un singleton bienveillant élimine tout de même les freins et contrepoids qui ont historiquement permis de détecter et de corriger les erreurs dans les grandes organisations et les gouvernements. Un singleton bienveillant élimine tout de même le pluralisme, la diversité des perspectives et des approches qui a produit la majeure partie du progrès intellectuel et social significatif. Le danger du singleton réside dans la structure, non dans l’identité du contrôleur.
Les empires historiques et les puissances dominantes ont tous fini par être remis en cause et transformés. Aucune forme antérieure de domination politique n'était vraiment permanente, car les challengers pouvaient toujours organiser suffisamment de capacités pour monter une contestation. Un singleton soutenu par une superintelligence pourrait surveiller, anticiper et prévenir toute contestation avant qu'elle ne s'organise, car il dispose de l'intelligence et de l'accès à l'information pour détecter les menaces plus tôt que toute autorité précédente. La véritable permanence est la caractéristique distinctive du risque de singleton.
L'alternative multipolaire
L’alternative au singleton est un monde multipolaire dans lequel plusieurs acteurs (nations, institutions, organismes internationaux) conservent un certain degré de contrôle et d’accès au ASI, avec des contraintes mutuelles qui empêchent tout acteur d’établir une domination. Ce n’est pas une utopie ; la multipolarité a toujours impliqué conflits, rivalités et dommages importants. Mais elle préserve les conditions d’un redressement futur, d’une révision des valeurs et de la poursuite du progrès moral. Un monde multipolaire soutenu par l’IA est un monde où l’avenir reste ouvert.
C'est l'objectif structurel de surveillance démocratique et internationale de l’IA superintelligente : non pas identifier le bon acteur pour la contrôler, mais empêcher qu’un seul acteur n’acquière le genre de contrôle qui ferme l’avenir. Des cadres internationaux de gouvernance du ASI, des organes de surveillance indépendants, un accès distribué aux capacités d’IA, tout cela constitue des mécanismes pour préserver la multipolarité face aux pressions vers la formation d’un singleton.
La Fondation propositions de gouvernance sont conçus dans cet objectif. Les mécanismes politiques spécifiques (surveillance du calcul, vérification du déploiement, cadres de traités internationaux) visent à empêcher tout acteur unique d'établir l'avantage décisif qui crée un singleton, qu'il s'agisse d'une entreprise, d'un gouvernement ou de l'IA elle-même.