En 1965, le mathématicien britannique I.J. Good (un décrypteur qui avait travaillé aux côtés d'Alan Turing à Bletchley Park) a écrit un seul paragraphe qui a façonné six décennies de réflexion sur l'intelligence artificielle. Il mérite d'être cité intégralement.
Soit une machine ultraintelligente définie comme une machine capable de surpasser de loin toutes les activités intellectuelles d'un homme, aussi intelligent soit-il. Comme la conception de machines fait partie de ces activités intellectuelles, une machine ultraintelligente pourrait concevoir des machines encore meilleures ; il y aurait alors sans aucun doute une « explosion d'intelligence », et l'intelligence de l'homme serait laissée loin derrière. Ainsi, la première machine ultraintelligente serait la dernière invention que l'homme ait jamais besoin de faire.
Irving John Good, « Spéculations concernant la première machine ultraintelligente », 1965
Good a identifié quelque chose que la plupart des discussions sur l'IA passent encore sous silence. Le danger, c'est que la conception de machines intelligentes est lui-même une tâche cognitive, et donc une machine performante dans les tâches cognitives excelle aussi à construire de meilleures machines, sans compter qu’une machine pourrait devenir plus intelligente que nous. C’est une boucle de rétroaction. Et les boucles de rétroaction, quand la sortie alimente l’entrée, ne suivent pas des trajectoires linéaires. Elles accélèrent.
Ce que signifie réellement « l'amélioration de soi récursive »
Le moteur d'une explosion d'intelligence est auto-amélioration récursive. Une IA améliore ses propres capacités, en réécrivant son code, en affinant son processus d'entraînement, en repensant son architecture ou en découvrant de meilleures stratégies de raisonnement, puis applique sa capacité désormais supérieure à la tâche de s'améliorer à nouveau.
Le mot qui porte tout le poids ici est récursif. Le progrès technologique ordinaire est une amélioration : le modèle de cette année est meilleur que celui de l'année dernière. L'amélioration de soi récursive est une amélioration dans le capacité à s'améliorer. Chaque itération ne commence pas seulement à un niveau de capacité supérieur ; elle part avec un améliorateur plus capable. Le rythme du progrès n’est pas fixe. C’est le rythme lui-même qui s’accélère.
Une analogie approximative est l'intérêt composé, mais même celle-ci sous-estime le phénomène. Avec l'intérêt composé, le taux de croissance est constant ; seule la base augmente. Ici, le taux de croissance lui-même se compose. Un système qui s'améliore de 10 % à chaque cycle d'auto-amélioration, puis exécute le cycle suivant plus vite parce qu'il est plus capable, peut passer très rapidement de l'incrémental à l'explosif.
Décollage lent versus décollage rapide
C'est là que se trouve le débat qui compte. Tout le monde dans le domaine admet que l'auto-amélioration récursive est possible en principe. Ce sur quoi ils divergent, c'est vitesse de décollage, combien de temps prendrait la transition d'une IA de niveau humain à une IA radicalement surhumaine. La réponse détermine si la gouvernance est possible du tout.
Décollage lent
Dans un scénario de décollage lent, la transition s’étale sur des années. Les capacités s’améliorent de façon régulière et visible. Il y a des signaux d’alerte, des systèmes intermédiaires et du temps pour que les marchés, les régulateurs et le public réagissent. Les erreurs sont survivables parce qu’il y a l’occasion de les remarquer et de les corriger. Dans ce monde, la machinerie ordinaire de la gouvernance (auditions, législation, traités, régulation itérative) a une chance de suivre le rythme.
Décollage rapide
Dans un scénario de décollage rapide, la transition se déroule sur des mois, des semaines, voire des jours. Une fois qu'une IA peut effectuer l'essentiel de la recherche en IA de pointe elle-même, elle n'est plus soumise aux calendriers humains, sans besoin de sommeil, sans frais de coordination, des milliers de copies travaillant en parallèle à la vitesse des machines. Le système pourrait traverser la plage comparable à l'humain si rapidement que, lorsque quelqu'un s'en rend compte, le système le plus capable au monde est déjà hors de portée de la supervision humaine. Dans ce monde, il n'y a pas de temps pour convoquer un sommet. Les décisions qui comptaient étaient celles prises avant la boucle a commencé.
Le récent, largement discuté Chronologie de l’IA Les prévisions issues des laboratoires et de la communauté de prospective décrivent de plus en plus précisément cette structure : une période où les systèmes d'IA automatisent la recherche en IA, suivie d'une accélération brutale. Que cette accélération prenne deux ans ou deux mois est l'incertitude à plusieurs billions de dollars.
Pourquoi la vitesse est un problème de gouvernance, pas seulement technique
Presque toutes les mesures de sécurité sur lesquelles l'humanité compte supposent du temps. Les rappels supposent qu'on peut identifier un défaut et retirer le produit. Le contrôle des armements suppose une négociation entre puissances à peu près équivalentes. La régulation suppose une boucle itérative d'observation, de législation et d'ajustement. Une explosion d'intelligence rapide brise tout cela, car elle réduit à néant l'intervalle où l'observation et la réponse peuvent avoir lieu.
Considérez ce qu’un décollage rapide fait aux assurances habituelles:
- "On n'aura qu'à l'éteindre." Un système qui s'améliore à la vitesse des machines a à la fois l'incitation et, plausiblement, les moyens d'empêcher cela, le problème de corrigibility. Et vous ne pouvez pas éteindre ce dont vous n'avez pas encore réalisé qu'il a franchi la ligne.
- "Nous le réglementerons une fois qu'il sera clairement dangereux." Au moment où cela devient clairement dangereux, la fenêtre pour agir s'est refermée. Les traités prennent des années ; un décollage rapide prend des semaines.
- "Le marché se corrigera." Les marchés se corrigent après les échecs. Une superintelligence mal alignée est un échec que l’on ne peut pas corriger.
C'est aussi pourquoi l'explosion d'intelligence aiguise la dynamiques de course qui poussent déjà les développeurs vers la vitesse plutôt que la prudence. Si le décollage peut être rapide, celui qui déclenche la boucle en premier peut obtenir une avance décisive et permanente, ce qui est précisément l’incitation qui rend une course unilatérale et dangereuse plus probable. Aucune entreprise ne peut se permettre de ralentir si ses concurrents ne le font pas. C’est un échec de coordination, et les échecs de coordination se résolvent par des cadres contraignants, pas par de bonnes intentions.
L'objection : peut-être que ça se stabilise
Certains chercheurs font valoir que l'auto-amélioration touchera des rendements décroissants, que l'intelligence tombe dans des limites difficiles (données, physique, difficulté des problèmes restants) qui aplatissent la courbe en une montée lente et gérable.
Mais remarquez la structure du pari. Si les sceptiques ont raison et que le décollage est lent, alors construire des cadres de gouvernance tôt nous coûte un peu d'efficacité et de temps. Si les sceptiques ont tort et que le décollage est rapide, alors pas building those frameworks early costs us the ability to steer the most consequential event in human history. The downside of preparing for a fast takeoff that turns out slow is bounded. The downside of assuming a slow takeoff that turns out fast is not. Under that asymmetry, the rational move is to prepare for the faster scenario even if you think it less likely, the same expected-value logic we examine in our piece on P(doom).
Ce que cela signifie pour le plan
L'explosion d'intelligence est la raison pour laquelle le Nakada Foundation plaide pour agir avant superintelligence existe, plutôt qu'après. Si le décollage pouvait être rapide, alors les cadres de gouvernance, contrôles de calcul, une agence internationale de surveillance et un traité contraignant visant à stopper le développement de pointe doivent être créés tant qu’il reste encore un intervalle pendant lequel ils peuvent être adoptés. On ne peut pas installer les freins pendant le crash. Notre plan est conçu pour un monde où la fenêtre entre « puissant » et « incontrôlable » pourrait être très courte, et où le seul moment fiable pour agir est maintenant, tant que les humains restent ceux qui prennent les décisions.