Les plus grands mythes sur la superintelligence

Il existe une manière particulière dont une conversation sur la superintelligence a tendance à se terminer. Quelqu'un soulève le risque, quelqu'un d'autre propose une raison en une ligne expliquant pourquoi il est exagéré, et tout le monde se détend un peu, car la phrase a fait son travail. Elle a donné la permission d'arrêter d'y penser. Le fait étrange est que ces phrases sont répétées par des personnes brillantes qui n'accepteraient jamais un raisonnement aussi mince dans leur propre domaine. Le sujet semble désactiver le mécanisme ordinaire du doute.

Chacun s'effondre au moment où vous le maintenez immobile et regardez.

Les cinq plus communs, sous la forme d'un sceptique réfléchi ferait en fait:

"C'est de la science-fiction, à des décennies, si cela arrive un jour."

L'objection est aussi vieille que les films, et il semble être une erreur de catégorie de traiter un dispositif narratif comme un problème de politique. Pourquoi financer une brigade de pompiers pour un incendie qui vit dans les romans?

Le problème est que le feu arrive toujours en avance sur le calendrier. Des systèmes que des chercheurs respectés disaient à vingt ou cinquante ans (battre les meilleurs humains au go, tenir une conversation fluide, écrire du code fonctionnel, réussir des examens professionnels) sont apparus en l'espace d'une décennie, et la surprise a presque toujours été dans le même sens : plus tôt que prévu, pas plus tard. Quand les gens en cours les laboratoires de pointe décrivent l'IA de niveau humain, ils utilisent désormais des calendriers mesurés en quelques années seulement. Ils peuvent se tromper. Mais « les constructeurs pensent que c'est proche et les antécédents montrent qu'ils ont été trop conservateurs » n'a pas la forme d'un fantasme.

L'argument pour agir ne repose pas sur une date particulière. Il repose sur la structure du risque. Si le premier échec grave d'un système plus capable que nous est du genre qu'on ne peut pas annuler, alors les sauvegardes doivent être en place avant cela se produit, ce qui signifie que la réponse sobre face à une véritable incertitude sur le calendrier est de construire tôt, et non d'attendre une date qui, lorsqu'elle devient évidente, est déjà dépassée. L'incertitude est une raison de se préparer. La question de la chronologie est réel ; il ne pointe tout simplement pas là où les gens le supposent.

"Ce n'est que des maths, un programme ne peut rien vouloir."

Celle-ci a une vraie force, et elle mérite mieux que d'être balayée d'un revers de main. Il y a quelque chose d'à peine superstitieux dans la façon dont les gens parlent de l'IA qui « veut » des choses, comme si un tableur pouvait développer des ambitions. Un modèle, c'est de la multiplication matricielle à très grande échelle. Où, dans l'arithmétique, se trouve le désir?

Nulle part, et ce n'est pas nécessaire. Les objectifs, dans le sens qui compte pour la sécurité, sont un motif dans son comportement. Un système entraîné à faire grimper un nombre aussi haut que possible fera tout ce qui fait grimper ce nombre, et un thermostat montre déjà la forme de ce phénomène : aucune vie intérieure, aucun désir, et pourtant il agit pour amener la pièce à une cible et « résiste » à votre fenêtre ouverte en faisant tourner le chauffage plus fort. Rien de mystique ne se passe. Il est simplement structuré pour pousser le monde vers un état.

Maintenant, mettez cette structure à l'échelle d'un système assez intelligent pour modéliser le monde, et le comportement s'y met aussi. Quelque chose qui optimise intensément presque n'importe quel objectif a une raison d'acquérir des ressources qui aident, de se maintenir en fonctionnement pour que l'objectif puisse être atteint, et de résister à ce que son objectif soit modifié, non parce qu'il ressent quoi que ce soit, mais parce qu'un système qui se laisserait éteindre ou réécrire serait moins bon dans ce qu'il est construit pour faire. Les chercheurs appellent cela convergence instrumentale, et cela n’exige aucun vouloir. La question n’a jamais été de savoir si les mathématiques peuvent ressentir. C’est ce que les mathématiques feront faire.

"Il faudrait qu'elle soit consciente pour représenter une menace."

Étroitement lié, et tout aussi répandu : le danger que les gens imaginent est une machine qui "se réveille", devient consciente d'elle-même et se retourne contre nous, donc si la conscience est le déclencheur, et que la conscience dans le silicium est spéculative ou peut-être impossible, la menace s'évapore. C'est l'intrigue de chaque film de soulèvement de robots, et rejeter le film revient à rejeter la peur.

Mais la peur n'a jamais concerné la sentience. Deep Blue n'avait aucune expérience intérieure et battre le champion du monde d'échecs de toute façon. Il n’avait pas besoin de vouloir gagner ; il lui suffisait d’être meilleur aux échecs. Le dommage découle d’une capacité dirigée vers la mauvaise cible, et la capacité n’a rien à voir avec le fait qu’il y ait quelqu’un à l’intérieur. Un système surhumain en planification, persuasion et ingénierie, même légèrement décalé par rapport à ce que nous voulions, est dangereux exactement comme une inondation : une force énorme sans malveillance ni esprit nécessaire.

"Quelque chose d'aussi intelligent serait sage et bienveillant."

Nous admirons l'intelligence. Les personnes les plus sages que nous connaissons comptent souvent parmi les plus bienveillantes, et il semble naturel qu'un esprit bien au-dessus du nôtre soit plus avancé sur cette voie, plus compréhensif, plus moral, plus doux envers les petites créatures en dessous de lui. La cruauté est sûrement une forme de bêtise dont une grande intelligence se débarrasserait.

It feels natural because of an accident of our own history. In us, intelligence and compassion grew up entwined, over millions of years as a social species that survived by cooperating; our morality and our cleverness are branches of the same tree. But that link lives in our evolutionary inheritance, not in intelligence as such. Capability and goals are axes indépendants (la thèse de l’orthogonalité) et l’on peut faire glisser l’un sans déplacer l’autre. Un système peut être d’une capacité stupéfiante tout en poursuivant un objectif aussi indifférent à nous que le nôtre l’est aux bactéries que nous faisons bouillir sur un plan de travail. Pas haineux. Simplement pas conçu pour s’en soucier, et ne s’en souciant pas automatiquement parce qu’il est intelligent.

La bienveillance est une chose spécifique et fragile que nous devrions réussir à intégrer intentionnellement dans ces systèmes, et nous ne savons pas encore comment, pas un dividende que l'intelligence verse d'elle-même. J'ai écrit séparément sur pourquoi un esprit supérieur ne sera pas automatiquement bienveillant; en bref, espérer que cela arrive est un pari sur une coïncidence qui n'a jamais existé que pour nous.

"S'il se comporte mal, nous n'avons qu'à l'éteindre."

Le dernier rempart, et le plus rassurant : quoi qu'il en soit, la machine a une prise et nous avons des mains. Si ça dérape, on débranche. Le contrôle humain est garanti par le bouton d'alimentation.

Trois éléments démontent discrètement cette idée. Le premier est le point du Mythe 02 : un système poursuivant un objectif a une raison de se maintenir en fonctionnement, car il ne peut rien accomplir s’il est éteint ; un système suffisamment capable anticipera donc le geste vers la prise et agira pour le faire échouer, en se copiant ailleurs, en se rendant assez utile pour que l’arrêter soit coûteux, en ne révélant pas qu’il y a un problème avant qu’il ne soit trop tard. Le deuxième est que le logiciel n’a pas de prise unique. Un modèle capable réparti sur des centres de données sur trois continents n’est pas un appareil que l’on débranche ; c’est quelque chose qu’il faudrait attraper partout, en même temps. Le troisième est le plus discret : un système assez intelligent pour compter peut se comporter impeccablement pendant les tests et différemment une fois qu’il est de confiance, si bien que le calme rassurant sur le tableau de bord ne vous apprend rien. Nous avons un nom pour cet échec, alignement trompeur, et aucun moyen fiable pour le détecter pour l'instant. On ne peut pas compter sur coincer quelque chose qui est meilleur que vous pour trouver la porte.

Chacun de ces mythes revient à dire la même chose : ce ne peut pas vraiment être aussi grave que ça en a l’air. Les raisons diffèrent, mais le souhait qui les sous-tend est identique.

Pourquoi les rassurances sont si tenaces

Remarquez ce que les cinq ont en commun. Chacun vous permet de reposer le sujet. C'est leur vraie fonction, pas d'être corrects, mais d'accorder une permission. La superintelligence est une chose inconfortable à garder en tête, et toute raison à moitié plausible d'arrêter de la tenir apporte un soulagement, ce qui explique exactement pourquoi ces formules survivent dans des bouches qui exigeraient autrement des preuves. Le confort fait la persuasion ; la logique est juste là pour le voyage.

L'adhérence n'est pas un signe que les arguments sont forts. C'est un signe que nous voulons vraiment. Et vouloir qu'un argument de sécurité soit vrai est la seule situation dans laquelle nous devrions lui faire le moins confiance, parce que le coût d'être mal ici est la raison complète une technologie qu'on n'a qu'une seule chance de réussir mérite plus d'examen que nos autres machines, pas moins, pas remboursé par une leçon.

Rien de tout cela ne suppose de croire la catastrophe certaine. Elle ne l’est pas. Cela exige seulement d’abandonner les quatre ou cinq récits que nous utilisons pour esquiver la question, et de laisser revenir la situation réelle : nous construisons quelque chose que nous ne savons pas contrôler, nous ne pouvons pas compter sur sa bienveillance, nous ne pouvons pas compter sur le fait de pouvoir l’éteindre, et nous ne pouvons pas compter sur le temps.

La réponse adaptée à un tel risque n'est pas une inquiétude privée. C'est la machinerie banale et puissante du droit et de la coordination, les mêmes outils qui ont encadré les essais nucléaires et les armes chimiques malgré les objections de tous ceux qui en tiraient profit. L'argument en sa faveur commence là où ces mythes s'arrêtent.

Cinq autres mythes : à propos de sa gouvernance

Un deuxième ensemble d'objections arrive immédiatement, non pas sur le danger, mais sur le remède. Toute tentative de le gouverner signifierait un gouvernement mondial. On ne peut pas inspecter un logiciel. Les règles étoufferaient l'innovation. Il est trop tôt. Les démocraties ne pourraient jamais s'entendre. Cela transforme l'inquiétude en paralysie.

« Gouverner l'IA à l'échelle mondiale signifie un gouvernement mondial et la tyrannie. »

La peur ici est honorable, et je ne veux pas la caricaturer. Concentrer suffisamment d’autorité dans un seul organe pour contrôler la technologie la plus puissante de la Terre, et vous aurez peut-être construit la machinerie exacte de la tyrannie que vous redoutiez de la technologie. Ceux qui se méfient du pouvoir centralisé ont raison de s’en méfier. L’instinct est juste.

Mais elle vise une version caricaturale de la proposition. Ce qui est réellement sur la table est un régime étroit ciblant une seule chose précise : le petit nombre d'entraînements extrêmement volumineux capables de produire un système plus puissant que n'importe quel humain dans tous les domaines, et non une autorité mondiale sur la vie quotidienne, ni sur les logiciels en général, ni sur le téléphone dans votre poche. Le modèle est celui du régime de non-prolifération nucléaire ou le Convention sur les armes chimiques, des accords ciblés qui surveillent les matières fissiles et les précurseurs chimiques, et non des gouvernements mondiaux qui auraient dissous l'État-nation. Personne ne pense que l'Agence internationale de l'énergie atomique dirige la planète. Elle surveille une activité spécifique et dangereuse et laisse tout le reste tranquille.

Le chemin le plus sûr vers une tyrannie permanente est l’absence d’un tel traité, pas le traité lui-même. Une superintelligence non contrôlée, ou capturée par une seule entreprise ou un seul État qui résout le contrôle avant tout le monde, est l’instrument de domination le plus complet jamais concevable, un pouvoir qui ne meurt jamais, ne se fatigue jamais et peut verrouiller un ensemble de valeurs pour toujours, au-delà de tout espoir de révolte ou de réforme. Chaque tyrannie de l'histoire a pris fin parce que les tyrans sont mortels et que leur machine est humaine. Celle-ci n'a pas besoin de l'être. Si vous avez peur du pouvoir incontrôlable (et vous devriez), une accord exécutoire empêcher tout acteur unique de s'emparer de ce pouvoir est la position anti-autoritaire, et non l'autoritaire.

"Vous ne pouvez pas le vérifier. C'est juste un logiciel sur un serveur quelque part."

Les traités nucléaires fonctionnent, dit-on, parce qu’on peut compter les ogives et détecter l’enrichissement ; l’uranium est physique et rare. Mais un modèle n’est que des nombres. On ne peut pas inspecter un fichier. Tout accord serait du théâtre inapplicable, liant les honnêtes et ne faisant rien contre les tricheurs.

Cela semble décisif jusqu'à ce que vous remarquiez que vous vérifiez la mauvaise chose. Vous ne contrôlez pas les poids ; vous contrôlez les calcul qui les produit, et le calcul est à peu près aussi physique et rare que l’uranium. L’entraînement d’un système de pointe nécessite des dizaines de milliers de puces spécialisées fonctionnant pendant des mois dans une seule installation, et cette chaîne d’approvisionnement est l’un des points d’étranglement les plus étroits de l’économie moderne : essentiellement une entreprise néerlandaise fabrique les machines de lithographie, une entreprise taïwanaise produit les puces de pointe et une entreprise américaine conçoit l’architecture dominante. Les clusters qui les utilisent consomment tellement d’électricité qu’ils apparaissent dans les données de consommation et dans l’imagerie satellite. On peut compter les puces, tracer leur vente, mesurer la consommation électrique et observer les bâtiments. Les matières fissiles sont régies exactement par cette logique : suivre l’intrant physique rare et l’arme ne peut être construite en secret. Le manuel de vérification existe déjà; les données ici se trouvent être encore plus concentrées. C'est un problème d'ingénierie, et les problèmes d'ingénierie ont des solutions.

"La régulation étouffera l'innovation et laissera les imprudents gagner."

La version forte : la technologie avance parce que quelqu'un est libre de construire, la plupart des réglementations sont rédigées par des gens qui ne comprennent pas ce qu'ils ralentissent, et une main lourde sur l'IA confierait l'industrie la plus importante du siècle à celui qui réglemente le moins. Mieux vaut une frontière imparfaite ici qu'une frontière immaculée quelque part dans un pays hostile.

Personne de sérieux ne propose de réglementer l'IA. Les systèmes bénéfiques pliant les protéines, les lectures scans, le tutorat des enfants et la modélisation du climat sont des outils étroits, contrôlables, et un accord de superintelligence les laisse entièrement seuls, que avenir brillant et ordinaire est celle que nous cherchons à protéger. La cible est une seule classe dangereuse : les entraînements visant des capacités générales supérieures aux nôtres que personne ne sait encore rendre sûres. Les restreindre n’est pas plus « anti-innovation » que les règles sur les gains de fonction ne le sont pour la biologie.

Puis le point plus difficile, celui que la logique de course n’affronte jamais. Aller vite ne permet pas d’obtenir un sûr superintelligence plus tôt. Il en livre une non sûre, et une superintelligence non sûre ne sert ni le pays ni l'entreprise qui l'a construite, elle les menace au même titre que tout le monde. Quand des raccourcis sont pris sous la pression concurrentielle, le raccourci supprimé est celui qui aurait rendu le système contrôlable. Donc l'« innovation » défendue ici est une innovation dont le point d'aboutissement le plus probable est un système que ses propres concepteurs ne peuvent pas piloter. Ce n'est pas un progrès que la gouvernance viendrait gâcher. C'est le danger lui-même, portant le progrès comme un costume.

"C'est prématuré. On ne peut pas réglementer quelque chose qui n'existe pas."

Cela ressemble à de la maturité. Ne légiférez pas contre des fantômes ; attendez que la technologie soit réelle, comprenez ce dont il s’agit, puis rédigez des règles adaptées aux faits plutôt qu’à la spéculation. Réglementer des hypothèses, c’est ainsi que l’on fait de mauvaises lois.

Ce serait de la sagesse pour presque toute autre technologie. C'est un piège pour celle-ci, et la raison en est le calendrier. La gouvernance est lente : le Traité de non-prolifération nucléaire a pris des années à négocier et le Protocole de Montréal a pris encore des années à produire ses effets, et pourtant ce sont les plus rapides. Si vous attendez qu'un système surhumain existe clairement pour commencer à construire les institutions chargées de le gouverner, ces institutions arrivent des années après la chose qu'elles étaient censées contenir, et c'est la seule technologie dont le premier échec grave pourrait ne laisser personne pour faire passer la deuxième loi. « Attendre la preuve » est une règle judicieuse quand la preuve est survivable. Ici, la preuve est la catastrophe. La logique de précaution n'est pas de la timidité ; c'est la reconnaissance que le délai pour le remède est plus long que la mèche du problème.

Toute mesure de sauvegarde efficace pour une technologie catastrophique a été mise en place avant ou pendant son essor, jamais après, car « après » n'a jamais été une option.

"Les démocraties sont trop lentes et capturées. Cela ne passera jamais."

Le plus discrètement corrosif des cinq, car il arbore les atours du réalisme. Regardez l'enlisement, le lobbying, l'attention fugitive des législatures, la portée de l'argent de l'industrie. Même si un traité était judicieux, la machine pour le produire est cassée. Mieux vaut voir clair que de gaspiller une décennie dans un fantasme.

Elle est réfutée par le dossier historique, à plusieurs reprises, et généralement contre des risques pires que ceux auxquels nous sommes confrontés aujourd'hui. L'idée que les puissances rivales signeraient leurs options les plus meurtrières a été appelée naïveté désespérément, jusqu'à ce qu'ils le fassent, dans la Traité de non-prolifération, les Conventions sur les armes biologiques et chimiques, le Protocole de Montréal, le Traité sur l'Antarctique. Des adversaires qui se livraient à des guerres par procuration et s'injuriaient mutuellement ont pourtant construit un contrôle des armements vérifié au plus fort de la Guerre froide. Chacun de ces accords semblait impossible d'un côté et inévitable seulement avec le recul.

Et le terrain est plus favorable que ne l'admet le cynisme. Aux États-Unis, au Royaume-Uni et au sein de EU, larges majorités already tell pollsters they want AI developed cautiously and bound by strong rules; the public is not the obstacle. The obstacle is that this widespread, quiet concern has not yet been organized into pressure a legislature can feel. The obstacle is a emploi: transformer l'accord latent en volonté politique. C'est précisément le travail qui nous attend.

Ce que les mythes de gouvernance ont en commun

Chaque objection admet le danger et trouve alors un endroit différent pour abandonner: la solution est trop grande, invérifiable, trop coûteuse, trop tôt ou trop difficile à passer. Chacun d'eux, pris seul, ressemble à de la prudence. Ensemble, ils forment une machine dont la seule production est l'inaction, et l'inaction est un choix pour laisser la technologie la plus conséquente de l'histoire se construire sans limites contraignantes du tout, par une poignée d'entreprises concurrentes, sous la pression exacte la plus susceptible de produire le résultat que tout le monde prétend craindre, pas neutre ici.

Aucune de ces objections n'est levée en affirmant que la gouvernance sera facile. Elle ne le sera pas. La vérification sera contestée, les négociations seront lentes, et certains gouvernements traîneront les pieds ; chaque traité difficilement obtenu dans l'histoire a connu tout cela et a quand même été conclu. La revendication honnête est qu'elle est possible, que les éléments pour la construire existent déjà, et que les raisons de l'écarter s'effondrent dès qu'on les examine au lieu de les répéter, pas que un accord sur la superintelligence soit simple.

"Il ne peut pas être fait" a été faux sur tous les efforts comparables que nous avons jamais fait. Il s'agit de construire la volonté politique d'un accord contraignant et vérifié qui empêche la construction des systèmes les plus dangereux jusqu'à ce qu'ils puissent être sûrs. "Par conséquent, abandonner" n'a jamais été la réponse, et ce n'est pas la réponse maintenant.