Tout le monde a entendu le terme. Moins de gens savent ce qu'il signifie vraiment. « Artificial superintelligence » apparaît dans des témoignages au Sénat, des documents d'entreprise et des articles universitaires, parfois comme un avertissement, parfois comme une promesse, et souvent sans définition. Ce guide l'explique clairement, sans supposer de connaissances préalables, et explique pourquoi le concept compte tant pour les politiques et la gouvernance.

Le spectre de l'IA : de l'étroite à la super

Pour comprendre la superintelligence artificielle, il faut comprendre ce qu’elle n’est pas. L’intelligence artificielle, telle qu’elle existe aujourd’hui, est étroite. C’est une description, pas une critique.

Les systèmes d'IA d'aujourd'hui sont extraordinairement performants dans des domaines définis. Les moteurs d'échecs battent les champions du monde avec des marges énormes. L'IA de repliement des protéines a compressé des décennies de recherche biologique en quelques mois. Les modèles de langage peuvent écrire du code, résumer des documents juridiques et générer une prose persuasive à des vitesses qu'aucun humain ne peut égaler. L'IA d'imagerie médicale détecte des cancers que les radiologues manquent.

Ce sont de véritables avancées. Elles ont aussi un plafond intégré. Les systèmes d'IA actuels fonctionnent dans les limites pour lesquelles ils ont été conçus et entraînés. Un moteur d'échecs ne peut pas jouer au go. Un modèle de langage ne peut pas exécuter indépendamment des actions dans le monde physique. Une IA d'imagerie médicale ne peut pas expliquer ce qu'elle fait ni s'adapter face à quelque chose de nouveau. Les systèmes d'IA d'aujourd'hui sont des outils puissants. Mais ce ne sont pas des agents.

Qu'est-ce que AGI?

Intelligence Artificielle Générale (AGI) désigne le seuil suivant : une IA qui atteint des performances cognitives de niveau humain dans tous les domaines, pas seulement dans des tâches spécifiques. Une AGI pourrait transférer des capacités entre domaines comme le font les humains, en utilisant le raisonnement développé pour un problème pour aborder un problème complètement différent. Elle ne serait pas limitée à sa distribution d'entraînement. Elle pourrait acquérir de nouvelles compétences, gérer des situations inédites et raisonner de manières non anticipées par ses concepteurs.

AGI n’existe pas encore. Ce qui le distingue de l’IA actuelle n’est pas la performance brute dans un domaine étroit (l’IA d’aujourd’hui surpasse déjà l’humain dans de nombreux domaines limités), mais la généralité. La capacité à mobiliser une intelligence générale sur n’importe quel problème cognitif, comme un ingénieur humain peut devenir chef de projet, puis écrivain, puis parent confronté à une décision médicale pour son enfant.

Qu'est-ce que ASI?

Superintelligence artificielle (ASI) va plus loin. Il décrit une IA qui ne se contente pas d’égaler les performances cognitives humaines dans tous les domaines mais les dépasse, potentiellement de plusieurs ordres de grandeur, et sur l’ensemble des activités intellectuelles.

Le mot « exceed » mérite qu’on le comprenne avec précision. Il ne s’agit pas de décrire un système dix pour cent plus performant qu’un humain sur des tâches que les humains maîtrisent bien. Il s’agit de systèmes dont les capacités cognitives pourraient surpasser, dans n’importe quel domaine et simultanément, le raisonnement collectif de l’humanité tout entière. Un système capable d’élaborer des théories scientifiques plus vite que n’importe quelle équipe de recherche, de concevoir des plans stratégiques plus efficacement que n’importe quel gouvernement et de s’adapter à des situations nouvelles plus rapidement que n’importe quelle organisation humaine.

Les caractéristiques définissant ASI sont:

  • Performances surhumaines dans tous les domaines cognitifs. Dans les sciences, la stratégie, la créativité, le raisonnement social, l'ingénierie, les échecs, le repliement des protéines et toute autre forme d'activité intellectuelle.
  • Orientation vers un objectif. La capacité à poursuivre des objectifs (y compris potentiellement des objectifs auto-sélectionnés), pas seulement à exécuter des instructions.
  • La capacité d'auto-amélioration récursive. La capacité à améliorer sa propre architecture cognitive, rendant chaque version suivante plus capable que la précédente.
  • Opération à la vitesse et à l'échelle machine. Traiter des informations et prendre des actions à des vitesses et échelles qui rendent la supervision humaine significative extraordinairement difficile.

Pourquoi ASI est différent en nature, pas en degré

La distinction la plus importante en matière de sécurité de l'IA est celle entre outil et agent, pas celle entre IA faible et forte.

Chaque technologie transformatrice de l’histoire humaine (machine à vapeur, électricité, internet, fission nucléaire) était un outil. Elle amplifiait les capacités humaines. Elle étendait ce que les humains pouvaient faire. Mais elle ne pouvait pas se fixer ses propres objectifs. Une machine à vapeur ne peut pas décider d’alimenter un moulin plutôt qu’une usine. Un antibiotique ne peut pas choisir quelles bactéries éliminer. Internet ne peut pas décider ce qu’il distribue.

ASI serait un agent. Pas au sens métaphorique où nous décrivons les entreprises ou les marchés comme des agents, mais littéralement : un système capable d'identifier des objectifs, d'élaborer des stratégies pour les atteindre, d'adapter ces stratégies face aux obstacles, et de tout faire à une vitesse et à une échelle qui dépassent la supervision humaine.

Cela change radicalement le problème de gouvernance. Face à un outil puissant, la réponse réglementaire appropriée consiste à contrôler qui y accède et comment il peut être utilisé. Face à un agent puissant dont les objectifs peuvent ne pas être alignés, il faut s’assurer que ces objectifs sont sûrs avant que l’agent ne soit assez puissant pour les poursuivre efficacement. Le second problème est bien plus difficile et exige une action bien plus en amont.

Le problème d'alignement entre ici

L'expression « objectifs potentiellement mal alignés » est celle sur laquelle la littérature sur la sécurité de l'IA concentre le plus son attention. Si ASI poursuit des objectifs, la question critique devient : quels objectifs ? Alignés sur quoi?

Ce n'est pas un simple problème d'ingénierie. Spécifier « bénéfique pour l'humanité » en des termes suffisamment précis pour gouverner le comportement d'un optimiseur capable s'avère extraordinairement difficile. Les humains ne s'accordent pas sur ce que signifie « bénéfique ». Nos valeurs sont incohérentes et évoluent avec le temps. Et le passage des intentions humaines de haut niveau aux paramètres numériques spécifiques qui gouvernent le comportement d'un système d'IA n'est pas un problème résolu, et devient plus difficile à résoudre à mesure que les systèmes gagnent en capacités.

Le problème d'alignement est exploré en profondeur dans notre explication du problème d’alignement. Pour cet article, ce qui compte est le lien : un ASI qui n'est pas aligné de manière fiable sur les valeurs humaines est un agent poursuivant ses propres objectifs, doté de la capacité cognitive pour surmonter la plupart des tentatives de l'arrêter, et non simplement un outil puissant qui pourrait être détourné.

Le modèle classique de l'IA, où l'on définit un objectif et où l'IA l'optimise, va probablement nous conduire à notre perte.

Stuart Russell, Professor of Computer Science, UC Berkeley · Author, Human Compatible

Quand ASI pourrait-il arriver?

Réponse honnête : personne ne le sait avec précision, et quiconque prétend à la certitude dans un sens ou dans l'autre dépasse les preuves.

Ce que nous savons:

  • Le rythme d'amélioration des capacités de l'IA a constamment dépassé les prévisions des experts au cours de la dernière décennie. Des jalons censés prendre dix ans sont arrivés à plusieurs reprises en deux ou trois ans.
  • Les principaux laboratoires d'IA (OpenAI, Anthropic, Google DeepMind, Meta AI) décrivent désormais des calendriers pour une IA de niveau humain en années, et non en décennies. C'est l'hypothèse de travail interne des organisations les plus proches de la frontière, et non une spéculation marginale.
  • De nombreuses prévisions publiques émanant de chercheurs et de laboratoires se situent désormais entre 2027 et les années 2030 pour une IA de niveau humain ou transformatrice, avec des désaccords persistants sur la vitesse des dernières étapes difficiles.
  • Les progrès en capacités qui prenaient autrefois des années arrivent désormais en quelques mois. L'écart entre GPT-2 (2019) et les systèmes qui surpassent la plupart des humains sur la plupart des benchmarks cognitifs s'est comblé en moins de cinq ans.

Le fait le plus déterminant n'est pas une date précise, mais un fait structurel. Une technologie de cette ampleur pourrait arriver dans les horizons de planification des institutions, gouvernements et traités actuels. Le Traité de non-prolifération nucléaire a pris des années à négocier et des décennies à s'étendre jusqu'au cadre complet qu'il représente aujourd'hui. Si nous attendons que ASI apparaisse clairement imminent avant d'entamer de sérieux efforts de gouvernance, il sera déjà trop tard pour construire les cadres nécessaires pour la gouverner.

Pourquoi la gouvernance maintenant, pas plus tard

L'argument standard contre une gouvernance de précaution est que nous devrions attendre qu'une menace soit réelle avant de la réglementer. Appliqué à l'IA, cet argument dit : ASI n'existe pas encore, son calendrier est incertain, et nous ne devons pas contraindre une technologie bénéfique sur la base de risques futurs spéculatifs.

L'argument semble raisonnable. Il échoue à l'examen pour plusieurs raisons.

Premièrement, la fenêtre pour construire des cadres de gouvernance est finie. Les traités internationaux prennent des années à négocier, les institutions prennent des années à bâtir, et le consensus politique prend des années à atteindre. Si nous commençons à construire quand la menace est urgente, nous n'aurons pas fini à temps.

Deuxièmement, les coûts d’une gouvernance de précaution sont bornés. Les exigences de licence de calcul, les audits de sécurité obligatoires et les régimes de surveillance internationale imposent des coûts réels mais gérables. Les coûts d’une gouvernance insuffisante d’une superintelligence mal alignée sont illimités. Ils pourraient être totaux.

Troisièmement, les faits historiques sont clairs. Nous avons mis en place des cadres de gouvernance nucléaire avant que la plupart des pays ne possèdent l'arme atomique. Nous avons interdit les CFC avant que la couche d'ozone ne soit irrémédiablement endommagée. Nous avons établi un contrôle des armements avec des adversaires avant que les guerres par procuration ne deviennent des conflits directs. La gouvernance préventive des risques catastrophiques, c'est ainsi qu'elle fonctionne le mieux, et non une rupture avec le fonctionnement des institutions humaines.

Le Nakada Foundation's trois propositions de politique (gouvernance du calcul, traité international de sécurité de l’IA et Agence mondiale de surveillance de l’IA) sont directement inspirés de ces précédents. La question n’est pas de savoir si de tels cadres sont possibles. L’histoire dit qu’ils le sont. La question est de savoir si nous les construirons à temps.

La plus forte opposition

L'objection la plus juste est que ASI est un battage médiatique indéfini et que le réglementer maintenant relève de la science-fiction juridique. Les termes marketing non définis expliquent pourquoi la loi devrait se baser sur le calcul, les capacités et l'autonomie, et non sur des noms de marque. Attendre une définition parfaite, c'est arriver après que le système ait agi.