Deux cents millions de positions par seconde. C’est le rythme auquel Deep Blue d’IBM parcourait les coups d’échecs lorsqu’il a battu Garry Kasparov en mai 1997. Je reviens sans cesse sur cette partie parce qu’elle illustre parfaitement la façon dont nous nous méprenons sur les machines, alors comme aujourd’hui, avec des enjeux bien plus grands. Kasparov a perdu contre une machine incapable de dire qu’elle jouait aux échecs. Comprendre pourquoi c’est vrai, et pourquoi cela n’a rien rendu la machine dangereuse, vaut mieux que la plupart des textes sur le modèle sorti la semaine dernière.
Garry Kasparov, le joueur le plus fort de sa génération et, selon certains, de toutes les générations, a été battu par un programme appelé Deep Blue, trois points et demi contre deux et demi. Les titres du lendemain parlaient d'une fin : la suprématie humaine était terminée. Près de trente ans plus tard, la partie a encore quelque chose à nous apprendre, et c'est presque l'opposé de ce que disaient ces titres.
Une machine superhumaine dans exactement une seule chose
Deep Blue ne pensait pas les échecs comme Kasparov. Il cherchait. Conçu sur mesure par IBM, il examinait environ 200 millions de positions par seconde et faisait passer chacune d’elles dans une fonction d’évaluation que ses ingénieurs avaient affinée avec l’aide de grands maîtres. Il voyait plus loin que n’importe quel humain et jouait la variante qui obtenait le meilleur score. C’était tout.
Ce qu'il ne pouvait pas faire, c'était presque tout le reste. Il ne pouvait pas jouer une partie douce pour apprendre à un enfant. Il ne pouvait pas jouer aux dames, ni lire une horloge, ni repérer un échiquier sur une photographie. Il ne savait pas qu'il avait gagné. Quand la partie était terminée, IBM l'éteignait et le démontait plus tard, et il n'offrait aucune résistance, parce qu'il n'y avait personne à l'intérieur pour résister. Deep Blue était un instrument magnifique pointé sur un problème borné. À un centimètre en dehors de ce problème, il était inerte.
Gardez cela en tête. Une machine a franchi le seuil surhumain en 1997 et le ciel ne s’est pas écroulé. Les échecs n’ont pas disparu. Ils sont aujourd’hui plus populaires qu’à aucun moment de leur histoire. La victoire était sans danger avec Deep Blue, car sa puissance ne dépassait pas les bords de l’échiquier et n’était animée d’aucune volonté. C’est pour la même raison que les outils étroits qui transforment aujourd’hui la médecine et la science sont un cadeau plutôt qu’une menace : c’est l’argument que j’ai développé en détail dans un article séparé sur l'avenir que nous pouvons avoir sans superintelligence.
Nous avons confondu calcul et intention
Il y a un moment du premier match qui m’est toujours resté. Kasparov a remporté la partie, mais Deep Blue y a joué un coup (le quarante-quatrième) qui ne semblait avoir aucun sens évident. Kasparov l’a étudié et a conclu qu’il voyait quelque chose de subtil, un plan qui allait plus loin qu’il ne pouvait suivre. Cela l’a troublé. Il a commencé à soupçonner qu’aucun simple programme ne pouvait jouer ainsi, qu’un grand maître humain alimentait la machine depuis derrière un rideau.
D’après le récit des personnes qui l’ont construit, le coup était un bug. Incapable de se décider pour quelque chose qui lui plaisait, Deep Blue était revenu à un réglage par défaut et avait joué quelque chose de proche du bruit. Le plus fin esprit du jeu d’échecs vivant avait regardé un dysfonctionnement et vu un génie lui rendre son regard. Il n’a jamais complètement retrouvé son aplomb, et le soupçon l’a poursuivi tout au long du reste de la partie.
Nous sommes conçus pour voir un esprit partout où nous rencontrons un comportement que nous ne pouvons expliquer. La machine n'a pas besoin d'être intelligente. Il suffit que nous soyons convaincus qu'elle l'est.
Regardez comme cela correspond directement à aujourd’hui. Les systèmes actuels produisent un langage fluide, confiant et humain, et nous projetons la compréhension dans cette fluidité de la même manière que Kasparov projetait de la stratégie dans la faute. La sensation que quelqu’un est là est puissante. C’est surtout une projection. C’est exactement le mécanisme par lequel nous accordons une confiance que nous n’avons jamais vraiment vérifiée. Que ces systèmes comprennent ou non quelque chose, nous nous comportons comme si les machines comprenaient. Ce réflexe n’est pas nouveau. Il était assis en face de Deep Blue en 1997, et vous pouvez séparer les deux questions de la même manière.
Le champion a craqué. La machine n'a rien ressenti.
Kasparov n'a pas perdu uniquement face au calcul de Deep Blue. Il a perdu en partie face à son propre système nerveux. Dans la deuxième partie, il a abandonné une position que l'analyse ultérieure a montrée être nulle. Il était si sûr que la machine avait vu plus loin qu'elle ne l'avait fait qu'il a abandonné une partie qu'il aurait pu tenir. À la dernière partie, il était assez ébranlé pour tomber directement dans un piège connu dès l'ouverture, un sacrifice de pièce qu'il aurait vu venir n'importe quel après-midi calme, et la partie s'est terminée en dix-neuf coups.
La machine ne ressentait rien de tout cela. Elle n'avait pas d'ego à froisser, pas de conférence de presse à redouter, pas le souvenir d'un mauvais match à emporter dans le suivant. Cette asymétrie est permanente, et elle ne concerne pas vraiment les échecs. Quand une personne affronte ou s'appuie sur un système infatigable qui ne doute jamais de lui-même, c'est d'abord la personne qui flanche : notre sang-froid, notre jugement, nos nerfs. Tout récit honnête de la vie aux côtés de ces outils doit prendre en compte la fragilité de notre côté de la table, pas seulement la puissance de calcul de l'autre.
Tout le monde s'est trompé dans ses prédictions, dans les deux sens
Pendant des décennies, des gens sérieux ont affirmé qu’un ordinateur ne battrait pas le champion du monde avant longtemps encore, et que lorsqu’il y parviendrait enfin, il faudrait quelque chose comme une véritable compréhension. Les deux parties de cette prédiction se sont révélées fausses. Cela est arrivé plus tôt que ne le permettaient les prévisions les plus confiantes. Et cela est arrivé sans aucune compréhension. La recherche par force brute y est parvenue la première.
Deux leçons en ressortent, et elles pointent dans des directions opposées, c’est pourquoi les gens ont tendance à conserver l’une et à laisser discrètement tomber l’autre. Première leçon : les jalons de capacité ont tendance à tomber plus tôt que les experts ne l’anticipent, donc parier sur des calendriers confortables est une erreur que nous avons déjà commise une fois, publiquement. Deuxième leçon : la chute d’un jalon nous apprend bien moins sur l’arrivée d’un esprit qu’on ne le ressent. La victoire de Deep Blue était un fait concernant la recherche et le silicium, pas un lever de soleil de la pensée machine. Les deux sont vraies ensemble. Les progrès peuvent être plus rapides que vous ne le pensez et plus superficiels qu’ils n’en ont l’air la même année, ce qu’il vaut la peine de garder à l’esprit quand on lit la prochaine série de prévisions sur l'orientation que tout cela prend.
La seule différence qui change tout
C'est ici que 1997 cesse d'être rassurant et devient un avertissement. Presque tout ce qui rendait Deep Blue sûr est une propriété que nous sommes en train, délibérément, de supprimer de nos machines.
Étroit. A fait une seule chose, et rien d'autre.
Aucun objectif propre. A attendu qu'on lui confie un poste et n'a fait que ce qui lui était demandé.
Éteint et démantelé à la fin sans protestation, parce qu'il n'y avait rien en lui qui préférait continuer à fonctionner.
Sa force ne s'étendait pas au-delà de l'échiquier.
Général. Destiné à agir dans tous les domaines à la fois.
Dotés d'objectifs ouverts et d'une autonomie croissante pour les poursuivre.
Attendu qu'il planifie et agit dans le monde avec de moins en moins de supervision humaine et que, par la logique de la convergence instrumentale, il a des raisons de résister à l'extinction.
Deep Blue ne voulait rien, donc on pouvait le débrancher. Un système qui poursuit un objectif qui lui est propre a une raison de rester allumé, car il ne peut pas achever sa tâche si quelqu’un actionne l’interrupteur. C’est une conséquence directe de la construction d’une entité qui poursuit un objectif, et cela porte un nom, convergence instrumentale. Le moment où nous passons d’outils qui répondent à des agents qui veulent, la leçon confortable de 1997 expire.
Ce que Kasparov a fait ensuite
La coda est la partie la plus porteuse d’espoir, et elle est généralement omise. Kasparov n’a pas passé les années suivantes à bouder à propos de la machine. En l’espace d’un an, il promouvait un nouveau format, parfois appelé échecs avancés, dans lequel un humain associé à un ordinateur affronte une autre paire du même type. Ce qui en est ressorti est frappant : le concurrent le plus fort sur l’échiquier n’était ni le meilleur grand maître ni le meilleur moteur, mais un humain compétent utilisant bien une machine. L’outil n’a pas remplacé le joueur. Il l’a rendu plus grand.
L’avenir que nous voulons est déjà disponible : en médecine, au laboratoire, dans le travail ordinaire, le jugement humain étendu par des outils étroits et contrôlables qui n’ont pas d’agenda propre. C’est un projet différent de celui que mènent les laboratoires de pointe, qui consiste à construire un esprit général autonome n’ayant nul besoin d’un humain à son bord. Le premier type de projet nous agrandit. Le second est conçu pour nous rendre inutiles, et un système qui n’a plus besoin de nous est un système dont nous ferions mieux d’être certains de pouvoir encore l’éteindre. Cette certitude est précisément ce qui n’existe pas encore, ce qui est la menace et la raison pour le plan que nous défendons.
En 1997, nous avons tenu une répétition publique de la question qui se trouve désormais au centre de tout : que faire quand nous construisons une machine meilleure que nous ? Deep Blue a donné une réponse douce, parce qu'il n'a jamais été qu'un outil. Un outil sans volonté pouvait battre le champion du monde et laisser le reste du monde intact. La réponse suivante ne sera pas douce par défaut. Elle dépend entièrement de ce que nous construisons : un instrument plus fin ou un successeur doté de ses propres objectifs. Nous devrions le faire délibérément, tant que nous en avons encore le contrôle.
La plus forte opposition
L'objection la plus juste est que Deep Blue prouve qu'une performance surhumaine peut être sûre et étroite, donc que la peur de l'IA est nostalgique. Deep Blue ne voulait rien. La voie actuelle est généralité plus agentivité plus pression d'auto-amélioration. Battre un champion aux échecs n'est pas la même espèce de risque qu'un système capable de surpasser les institutions en planification.