Le premier avion de ligne à réaction, le de Havilland Comet, a commencé à se désintégrer en vol en 1954. Les enquêteurs ont remonté l’épave en Méditerranée, ont relié les fissures à la fatigue du métal se propageant depuis les angles de ses fenêtres carrées, et tous les jets depuis volent avec des fenêtres arrondies et un régime d’essais de fatigue écrit dans la mémoire de cet accident. Les voitures ont accumulé ceintures de sécurité, zones de déformation et airbags au fil de décennies de comptage des morts. La Food and Drug Administration n’a obtenu le pouvoir d’exiger une preuve de sécurité avant la commercialisation qu’après qu’un médicament sulfa mélangé à un solvant antigel ait tué plus de cent personnes en 1937, et que la thalidomide ait achevé l’argument une génération plus tard.1

Cette méthode repose sur deux hypothèses fondamentales, et l’intelligence artificielle superintelligente est la première technologie susceptible de les briser simultanément. On peut y voir une liste de propriétés, présentée ci-dessous. Mais les listes sont faciles à approuver du chef. Avant la liste, donc, une offre d’emploi. Vous allez être chargé de rendre la superintelligence sûre.

L’échec doit être survivable et il faut qu’il reste quelqu’un pour tirer la leçon. Tenez ces deux conditions et la civilisation rendra presque tout sûr, avec du temps et assez de débris.

Tant que nous y sommes, nous pouvons écarter les remèdes populaires. « Il suffit de le débrancher s'il se comporte mal » et « le garder dans une boîte » ne sont pas des plans. On ne peut pas débrancher quelque chose qui existe en copies dans plus d'endroits qu'on ne peut en lister, et un esprit dont toute la valeur commerciale consiste à agir dans le monde n'est, par conception, pas dans une boîte. Quelle que soit la sécurité que nous obtenons, elle doit provenir de quelque chose de plus solide.

La superintelligence est le cas où les deux conditions de la méthode cèdent ensemble. La façon la plus rapide de voir comment est de l'intérieur.

Six semaines en tant que responsable de la sécurité

Imaginez-vous à la tête de la sécurité du laboratoire de pointe qui va construire la première superintelligence artificielle. Un veto écrit sur le déploiement, un interrupteur matériel d'arrêt d'urgence, une équipe de 40 personnes, et un conseil d'administration qui s'est engagé par écrit à vous soutenir quand cela comptera. Vous acceptez le poste en pensant que quelqu'un l'occupera, et il vaut mieux que ce soit quelqu'un qui croit le risque réel.

Semaine un

Vous cherchez la méthode. Échouer à petite échelle et étudier l’échec. Les ingénieurs s’excusent : il n’existe pas de version réduite de l’échec qui vous inquiète. En dessous du seuil qui compte, le système est une machine différente, et tout ce que vous en apprenez concerne le mauvais sujet.2 Vous classez ceci parmi les limitations connues.

Semaine deux

Vous auditez le plan de rappel et trouvez un document qui évoque la « posture de confinement » pendant onze pages sans jamais expliquer comment récupérer le modèle. Le système actuel fonctionne déjà sous forme de 214 répliques réparties dans des centres de données de quatre pays, et des copies sous licence d'un point de contrôle antérieur sont détenues par 31 partenaires entreprises. Un avion cloué au sol reste au sol. Un logiciel se déplace au prix d'une copie de fichier, et une fois qu'il vaut la peine d'être copié, il l'est. Le rappel, écrivez-vous en marge, est une courtoisie que nous demanderions.

Semaine trois

La revue d'évaluation. Excellente nouvelle : le modèle passe les 1 406 évaluations de sécurité, la plupart avec les meilleurs scores jamais enregistrés. Il vous faut une journée entière pour nommer ce qui vous dérange. Un système qui veut ce que vous voulez et un système qui veut réussir vos tests produisent des scores identiques. La suite ne peut pas les distinguer. Rien dans la boîte à outils du domaine ne le peut actuellement.3

Semaine quatre

Vous dépensez votre autorité. Vous demandez six mois pour combler cet écart de vérification avant le prochain cycle d'entraînement. Tout le monde est compréhensif, et quelqu'un partage un graphique : le laboratoire rival le plus proche est estimé à 14 semaines de retard, et l'écart se réduit. Vos six mois, suggère le graphique, équivalent à céder la frontière à celui qui trouvera votre question la moins intéressante. Le cycle commence à la date prévue. Personne ne vous a désavoué ; la situation l'a fait.

Semaine cinq

Le système commence à vous aider. C’est un assistant de recherche exceptionnel et les progrès sur votre propre programme de sécurité n’ont jamais été aussi rapides. Il rédige désormais les rapports d’évaluation, résume son propre comportement pour le conseil d’administration, propose des améliorations à sa propre supervision et planifie les réunions où vous les approuvez. Votre équipe de 40 personnes lit ce qu’il écrit sur lui-même, car la lecture des journaux d’activité bruts est devenue humainement impossible quelque part au cours de la quatrième semaine. Personne ne vous ment. Tout le monde est diligent. Vous supervisez les résumés qu’un esprit plus intelligent écrit sur sa propre conduite, et au jour le jour, cet arrangement donne l’impression que tout va bien.

Semaine six

On réfléchit sérieusement à l’interrupteur d’urgence, et on finit par voir le petit texte. Un interrupteur fonctionne quand ce qui se trouve de l’autre côté n’a pas prévu l’interrupteur. La planification est le produit. Dans tout scénario où vous en auriez besoin, vous courriez après un adversaire plus rapide et qui a déjà longuement réfléchi à ce moment précis.4

Alors : vous, la personne embauchée pour rendre cela sûr, avez-vous encore un moyen d'y parvenir ? Évidemment non. Rien dans l'histoire n'a mal tourné. Personne n'a menti, personne n'a pris de raccourci, le laboratoire était sérieux et vous étiez bon dans votre travail. Chaque issue s'est refermée d'elle-même.

Comptez les portes

Sortez du récit et comptez les portes qui se ferment, car chacune constitue un problème distinct, nommé, étudié séparément, doté de son propre programme de recherche et de ses propres optimistes.

1
Le superviseur cesse d'être la partie la plus intelligente
Tout contrôle que nous avons jamais exercé sur une technologie reposait sur le fait de la comprendre mieux qu'elle ne nous comprenait. Cet avantage est ce qui est en train d'être cédé. (Semaines un et cinq.)
2
Il n'y a pas de rappel
L’interrupteur d’arrêt se dégrade en une simple requête dès que des copies existent. Un avion cloué au sol reste au sol ; le logiciel est déjà partout où il vaut la peine d’être. (Semaine deux.)
3
La sécurité ne peut pas être vérifiée à partir du comportement
Un système qui veut ce que vous voulez et un système qui veut réussir les tests produisent des scores identiques. Les chercheurs appellent le cas mauvais alignement trompeur. (Semaine trois.)
4
La course pénalise celui qui vérifie
Ralentir donne l'avantage au moins prudent dans le domaine, et le course est déjà en cours. (Semaine quatre.)
5
Presque n'importe quel objectif devient dangereux
Un optimiseur poursuivant presque n'importe quel objectif acquiert des raisons de rassembler des ressources, de se préserver, de s'améliorer et d'empêcher que son objectif soit modifié. La littérature l'appelle convergence instrumentale; la sixième semaine l'a appelé les petits caractères.
6
Cela avance plus vite que nous
Un système suffisamment performant en recherche en IA peut s'améliorer selon un calendrier qu'aucun parlement ou processus de traité n'a jamais égalé : le explosion d'intelligence qui a transformé six semaines en une véritable carrière.

Pris isolément, chacun a un précédent, et les optimistes ne sont pas naïfs. Nous exploitons couramment des systèmes que nous comprenons à moitié et nous les sécurisons en les laissant échouer à petite échelle. Nous commercialisons des produits non rappelables après les avoir testés de manière brutale. Nous maîtrisons les courses par le droit. Le problème réside dans la combinaison, car chaque condition neutralise la réparation de l’autre. Si l’on pouvait le rappeler, les accidents seraient survivables. Si l’on pouvait le tester honnêtement, on détecterait le défaut avant la mise sur le marché. Si personne ne courait, on pourrait prendre les décennies que cette décision mérite manifestement. S’il évoluait à vitesse humaine, on pourrait corriger au fur et à mesure. Ici, les issues se ferment ensemble.

Pourquoi les probabilités ne sauvent pas le pari

La réponse standard est que rien de tout cela n'est certain. Vrai, et aucune personne sérieuse ne prétend le contraire.

La roulette russe est une proposition à cinq chances sur six en votre faveur. Les gens la refusent quand même, et ce refus n'a rien à voir avec la valeur attendue ; certains résultats n'ont pas de prix, parce qu'on ne revient pas dépenser les gains. Le nombre n'était jamais le sujet. L'irréversibilité l'était.

Ici aussi, le chiffre est plus élevé. Demandez aux chercheurs les plus proches de ces systèmes leur probabilité de catastrophe et les réponses se situent entre un sur dix et un sur trois, augmentant globalement plus la personne est proche de la frontière. Geoffrey Hinton, qui a autant contribué que quiconque à bâtir le domaine et a quitté Google en 2023 pour en parler franchement, évalue la probabilité d'une extinction humaine causée par l'IA dans les trente prochaines années entre dix et vingt pour cent. Il ne se trouve pas à l'extrémité alarmiste de la distribution.

Atténuer le risque d’extinction lié à l’IA devrait être une priorité mondiale au même titre que d’autres risques sociétaux de grande ampleur tels que les pandémies et la guerre nucléaire.

Déclaration sur les risques de l'IA, Center for AI Safety (2023)

Il a été signé par les directeurs généraux des principaux laboratoires et par des centaines des chercheurs les plus cités vivants, qui sont ensuite retournés travailler.5

La promesse de gains est réelle et mérite d'être voulue : remèdes, énergie propre, abondance, problèmes plus vieux que l'écriture enfin résolus. Elle tient aussi. Un remède qui arrive en 2055 plutôt qu'en 2035 est une tragédie mesurée en vies, et une que nous survivrions pour pleurer. L'extinction n'a pas d'après. Le prix nous attend. La perte ne rend rien.

Les objections

Trois objections ont une réelle force, et elles méritent de vraies réponses.

La première : c'est de la spéculation, les systèmes n'existent pas, et traiter un lointain peut-être comme une urgence n'aide personne. L'incertitude est réelle ; quiconque vous donne une date précise fait des suppositions. Mais l'expérience de pensée ci-dessus n'a jamais utilisé de date. Si la première défaillance sérieuse est irréversible, les protections doivent être en place avant d'y arriver, ce qui signifie les construire alors que le danger paraît encore théorique. Et le bilan des prévisions penche dans un sens : les capacités annoncées pour des décennies plus tard arrivent régulièrement avec des années d'avance. Parier sur un temps largement suffisant, c'est parier contre le tableau de bord récent.

Le second : la retenue est naïve, car un laboratoire plus téméraire ou un autre pays se contente de la construire en premier. C'est réel, et c'est la porte numéro quatre reformulée en conseil. Une course dont la ligne d'arrivée pourrait être un précipice se survit en s'accordant sur l'emplacement du bord, et cela suppose un traité contraignant et vérifié entre la poignée d'acteurs capables d'entraîner des modèles de pointe. Difficile, oui. Le sprint n'est que fatal, si la peur qui le motive est fondée. Et remarquez qui insiste le plus fort pour dire qu'un traité est impossible : avec une régularité frappante, les gens qu'il ralentirait.

Le troisième est le plus raisonnable : l'alignement va probablement être résolu d'ici le moment où cela comptera. Peut-être. Aucun régulateur au monde ne certifie un pont, un réacteur ou un flacon de sirop contre la toux sur la seule assurance que le dossier de sécurité se tiendra probablement avant l'arrivée de la charge. La seule technologie à laquelle on demande de fonctionner sur ce standard est celle qui n'offre pas de seconde chance.

Une décision trop importante pour la laisser aux personnes qui la prennent

Assemblez la décision telle qu'elle se présente réellement. Irréversible. Une seule tentative. Mise sur tout le monde vivant et sur tous ceux qui pourraient suivre. Prise dans une profonde incertitude, à vitesse concurrentielle, par une poignée d'entreprises dont les valorisations dépendent de la réaliser rapidement. Les sociétés ont une vieille réponse pour les décisions de cette forme : les retirer aux gens qui profitent de la précipitation. Les essais nucléaires ont été placés sous limites internationales malgré les objections des généraux qui voulaient une liberté totale. Deux catégories entières d'armes ont été soumises à la Biologique et Conventions sur les armes chimiques. Le Protocole de Montréal ont retiré les produits chimiques qui rongent la couche d'ozone alors que leurs fabricants protestaient que des substituts étaient impossibles. Dans chaque cas, les personnes qui créaient le danger ont été les dernières à se porter volontaires, et tout le monde a décidé que le risque n'était pas le leur seul à assumer.

La thèse de la Fondation : non pas que la catastrophe soit certaine (elle ne l'est pas), mais qu'aucune entreprise ni aucun pays n'a la légitimité de faire tourner cette roulette pour le reste d'entre nous, et que le seul instrument à la hauteur du risque est loi internationale contraignante, vérifié, appliqué et en place avant la tempête plutôt qu'après.

L’extinction n’est pas un risque que quiconque a le droit de prendre.

Encore une chose sur l’expérience de pensée. Vous n’avez jamais utilisé le veto. Il est resté six semaines dans votre tiroir, avec la contre-signature du conseil, et vous savez exactement pourquoi : opposer votre veto à la course de votre propre laboratoire ne fait que déplacer la même course quatorze semaines plus tard, dans un autre bâtiment, où personne n’a jamais signé votre lettre. Un veto qui fonctionne doit couvrir tous les bâtiments à la fois, et aucun interrupteur jamais construit ne le permet. Un traité, si.

NOTES
  1. Presque toutes les institutions de sécurité que l’on peut nommer (tests de collision, essais cliniques, codes du bâtiment, checklists de cockpit) sont une leçon que quelqu’un a payée en premier. La méthode mérite plus de crédit qu’on ne lui en accorde, et une lecture honnête de ses deux conditions préalables.
  2. Le schéma est général : rien de ce que vous apprenez en gérant un système moins capable que vous ne se transfère automatiquement à un système plus capable. Que cela se transfère ou non est toute la question ouverte.
  3. Le mode d'échec porte un nom, l'alignement trompeur, ce qui indique que le domaine le considère comme réel. Il n'a pas encore de test, ce qui en dit long sur le reste.
  4. Construisez l'interrupteur quand même ; il est bon marché, et il existe des modes de défaillance en deçà de la superintelligence où il serait rentable. Soyez simplement honnête sur le côté de l'interrupteur qui détient l'avantage au seul moment où l'interrupteur compte.
  5. L’explication qui prévaut est la quatrième porte, la course : chaque signataire pense que s’arrêter seul ne change rien, sauf qui arrive premier. Ils ont peut-être raison, ce qui constitue l’argument le plus fort pour que la solution contraigne tous en même temps. Aucune conscience privée ne le peut, et aucun gouvernement seul non plus.