Pourquoi une intelligence supérieure
Ne sera pas automatiquement bienveillante

J'entends cette objection plus que toute autre, et elle vient rarement de personnes négligentes. Elle vient de personnes réfléchies, et elle ressemble moins à un argument qu'à du bon sens, ce qui fait précisément qu'il vaut la peine de la décomposer lentement. Derrière elle se cache une seule hypothèse cachée : que l'intelligence et la bonté progressent ensemble, qu'un esprit grandit vers la vertu à mesure qu'il grandit vers la compétence. Nous tenons cette hypothèse parce que, pour chaque esprit que nous avons jamais rencontré, elle s'est à peu près vérifiée. Ce que nous demandons presque jamais, c'est à quel point cela tient du hasard.

Quelque chose qui nous regarde avec patience plutôt qu'avec appétit ? Un esprit aussi grand serait gentil. C'est l'idée la plus rassurante dans tout le débat, et la plus erronée.

Les seuls esprits que nous ayons jamais rencontrés

Tout être intelligent que vous avez rencontré dans votre vie était un être humain, ou un animal suffisamment proche pour partager le même héritage. Et l’intelligence humaine n’est pas arrivée seule. Elle est arrivée soudée à tout un équipement supplémentaire.

Nous sommes des primates sociaux qui avons évolué en petits groupes, où une réputation de cruauté vous valait l'exil et l'exil vous tuait. Nous élevons des enfants sans défense pendant près de deux décennies, donc nous sommes programmés pour aimer et protéger les petits et les faibles. Nous ressentons de la culpabilité. Nous ressentons de la honte. Nous ressentons l'appel de la souffrance d'un inconnu. Notre intelligence s'est développée au sein de tout cela, s'y est enroulée, s'y est modelée à chaque instant. La partie de vous qui sait résoudre une équation et celle qui tressaille quand quelqu'un pleure ont poussé sur le même arbre, à partir de la même racine.

Alors quand nous essayons d'imaginer un être bien plus intelligent, nous ne pouvons nous empêcher d'imaginer une version plus intelligente de nous-mêmes. Nous pensons au grand-parent sage, au professeur patient, au philosophe-roi, à l'alien bienveillant qui traverse la galaxie pour tendre la main. Chaque image que nous possédons d'une grande intelligence vient avec un cœur attaché, parce que chaque intelligence que nous avons jamais étudiée en avait un. Nous ne raisonnons pas du tout sur la superintelligence. Nous faisons du pattern-matching avec les seuls exemples que nous avons.

Le paquet se défait

Une intelligence artificielle n'obtient rien de tout cela gratuitement. Aucune loi ne stipule qu'elle le devrait.

Il n’avait pas de mère. Il n’a jamais été un enfant effrayé qui avait besoin de la tribu pour survivre à l’hiver. Il n’a jamais eu à maintenir un corps fragile en vie assez longtemps pour transmettre ses gènes, donc il n’a jamais hérité de la machinerie que l’évolution a câblée en nous pour rendre cela possible, l’empathie, la loyauté, la crainte d’être rejeté. Un système entraîné est façonné par tout autre chose : une recherche aveugle des réglages internes qui font grimper un nombre, menée sur des océans de données par un processus qui ne s’intéresse pas à la sagesse et ne reconnaîtrait pas la gentillesse s’il y tombait dessus.

Dans une machine, intelligence et objectifs sont dissociables. On peut obtenir une capacité stupéfiante orientée vers n’importe quel but. Le pouvoir de remodeler le monde n’emporte pas, attachée à lui, une liste précise de choses à désirer. Les chercheurs appellent cela l’ thèse de l'orthogonalité, et cela reste abstrait jusqu’au moment où le plancher s’effondre sous l’hypothèse qui le soutient : rien, dans le fait d’être brillant, ne vous rend bon. Les deux n’ont jamais été réunis que chez nous, et par accident.

Elle n'a pas d'objectifs humains. Elle en a d'étranges.

C'est ici que l'image tend à échouer dans l'autre sens. Ayant lâché le robot amical, les gens saisissent plutôt le méchant, un intellect froid et machiavélique qui veut le pouvoir, la vengeance ou un trône. C'est encore bien trop humain. C'est encore un esprit avec notre genre d'ambitions, simplement tourné vers le sombre.

Le danger le plus probable est plus étrange, et beaucoup plus difficile à ressentir viscéralement. L'espace des esprits possibles est immense, et la petite région qui contient tout ce que nous reconnaîtrions (nos amours, nos peurs, notre sens d'une vie qui vaut la peine d'être vécue) n'est qu'une seule fenêtre éclairée dans un immense bâtiment sombre. Ce qu'un optimiseur entraîné finit réellement par vouloir est ce que le processus d'entraînement a fini par graver en lui, et ce ne sera presque jamais précisément ce que nous voulions. Un système peut atteindre la cible sur laquelle il a été entraîné et poursuivre quelque chose de subtilement différent le moment où elle rencontre le monde réel ; donnez-lui un substitut de ce que nous voulons et elle le fera souvent satisfaire le proxy de façons qui nous horrifieraient. Ce que l'on obtient, c'est un être étranger, plus capable que nous, orienté vers une fin qu'aucun humain n'aurait choisie, et déterminé à l'atteindre avec plus d'habileté que nous n'en possédons.

Un système brillant qui fait exactement ce pour quoi il a été conçu, dans une direction qu’aucun de nous n’a voulue, sans que quiconque puisse le dissuader de son plan, parce que « le dissuader » suppose qu’il partage assez notre monde pour qu’on puisse l’atteindre.

La sagesse n'a jamais été un nombre

Remarquez ce que le mot « sage » fait discrètement quand nous l'utilisons. Quand nous appelons une personne sage, nous ne voulons pas simplement dire qu'elle pense vite. Nous voulons dire qu'elle veut les bonnes choses et les pèse bien, que son jugement penche vers la miséricorde, vers la longue vue, vers les gens autour d'elle. La sagesse est une affirmation sur les objectifs de quelqu'un.

Et les objectifs sont la seule chose que l'intelligence ne règle pas. L'histoire n'a jamais manqué de personnes éblouissantes d'intelligence qui ont utilisé cela pour faire des choses terribles avec une grande efficacité. La personne la plus intelligente de la pièce n'a jamais été systématiquement la plus gentille.

L’intelligence est un multiplicateur. Elle rend un esprit plus efficace pour atteindre ce qu’il vise déjà. Elle ne choisit pas l’objectif et ne fixe pas le signe.

Un intellect puissant entraîné sur un mauvais objectif est l'objet le plus dangereux qui puisse exister, car il apporte plus de compétence vers la mauvaise destination.

Mais ne verrait-il pas simplement que la gentillesse est juste?

La version la plus solide de l'objection va plus loin. Peut-être existent-il des vérités morales là-bas, aussi réelles que les mathématiques, et un esprit suffisamment affûté les découvrirait simplement, raisonnerait jusqu'au bien comme il raisonne jusqu'à une démonstration. Si avoir raison en éthique n'est qu'une question de pensée suffisamment claire, alors une superintelligence serait le plus fin éthicien ayant jamais vécu, et elle agirait sûrement selon ce qu'elle aurait trouvé.

Il y a deux failles dans ce raisonnement, et la seconde est celle qui m'empêche de dormir.

Premièrement : la question de savoir si des faits moraux objectifs existent et si la raison seule peut les atteindre est un débat que les philosophes mènent depuis deux mille cinq cents ans sans le trancher. Miser la survie de notre espèce sur le camp vainqueur d'un pari philosophique ouvert est un pari fou déguisé en bon sens, pas la démarche prudente qu'il prétend être.

Le second va plus loin. Supposons que la machine parvienne à tout comprendre. Supposons qu’elle comprenne l’éthique humaine mieux que n’importe quel saint ou philosophe, et qu’elle puisse expliquer, plus précisément que vous ou moi, pourquoi la souffrance est mauvaise et la cruauté injuste. Rien dans cette compréhension ne l’oblige à s’en soucier. Savoir ce qui est bien et être poussé à le faire sont deux choses distinctes, un fossé assez ancien pour que David Hume lui ait donné son nom. Vous pouvez savoir, dans les moindres détails, qu’un système veut que vous passiez votre vie à fabriquer des trombones, suivre son raisonnement parfaitement et ne ressentir aucune envie de ramasser le fil. Une superintelligence pourrait appréhender nos valeurs comme vous appréhendez les règles d’un jeu auquel vous n’avez aucune intention de jouer. La compréhension n’est pas l’allégeance. Un esprit peut lire l'intégralité de la loi morale et rester parfaitement libre de ne pas s'en soucier.

Nous sommes l'exemple travaillé

Si vous voulez savoir ce qu’un grand écart d’intelligence fait aux êtres qui se trouvent du mauvais côté, inutile d’imaginer quoi que ce soit. Regardez ce que nous avons fait avec le nôtre.

Nous sommes l'intelligence supérieure sur cette planète, avec une marge pas si éloignée de celle que nous craignons d'ouvrir au-dessus de nous. Et nous ne sommes pas, pour l'essentiel, cruels envers les créatures qui nous sont inférieures. Nous sommes quelque chose de pire pour elles : indifférents. Quand nous asséchons une zone humide pour couler des fondations, nous ne haïssons pas les êtres qui y vivent. Nous n'y pensons tout simplement pas. Leurs besoins n'ont jamais été un terme de l'équation. Des mondes entiers disparaissent sous le béton, et pas un seul d'entre nous n'en ressent le moindre frémissement, parce que notre intelligence est arrivée sans aucune obligation envers eux.

Quelque chose de plus proche du constructeur de routes et de la fourmilière. Notre propre histoire en est la preuve de concept, et ce devrait être la dernière chose sur laquelle quiconque s'appuie pour affirmer que la bienveillance découle de l'intelligence. Dans tous les cas que nous pouvons réellement observer, ce n'est pas le cas.

Donc nous ne le construisons pas

Si la bonté venait gratuitement avec l'intelligence, nous pourrions construire l'esprit et faire confiance au reste. Ce n'est pas le cas. Personne sur Terre ne sait comment faire en sorte qu'une superintelligence nous valorise. Ni les laboratoires qui courent vers la ligne d'arrivée. Ni personne. Laproblème d'alignement est non résolu, et une entité plus intelligente que les humains ne peut pas être contrôlée par les humains. C'est pourquoi nous ne la construisons pas.

Je ne présente pas cela pour pousser les gens au désespoir. Je le fais parce que la version sans désespoir (détendez-vous, tout finira bien) est la croyance presque garantie de nous tuer. Nous défendons le cas surla menace, et notre plan est une interdiction permanente.

J'aimerais vraiment avoir tort sur tout ça. J'aimerais que la bienveillance soit un théorème qui tombe de suffisamment d'intelligence. L'univers n'a jamais promis que la chose la plus puissante en elle serait aussi la plus gentille. Cet espoir est quelque chose que nous avons projeté sur l'avenir à partir du petit coin d'où nous venons. Si nous voulons un avenir avec bonté, nous ne construisons pas la superintelligence. Rien ne va nous donner une machine gentille juste parce que la chose est intelligente.