Je dirige une fondation pour prévenir le développement imprudent de la superintelligence artificielle. Je pense que les cinquante prochaines années pourraient être les meilleures de l'histoire de notre espèce. Je ne crois simplement pas que nous ayons besoin de tout miser pour y arriver, et je ne pense pas que les personnes vendant le pari aient fait le calcul sur leur propre pari.

L’avenir que promet le discours sur la superintelligence (maladies guéries, énergie propre bon marché, découvertes hors de portée d’un seul laboratoire) arrive déjà grâce à l’IA étroite et contrôlable, dépourvue de tout objectif propre. Nous n’avons pas besoin de construire un successeur à nous-mêmes pour en profiter.

Il y a l'IA étroite : un système entraîné pour faire un type de chose extrêmement bien, lire un scan, plier une protéine, prévoir une tempête, trier un tas de foin de chimie pour le seul composé utile. Puis il y a la chose que les laboratoires de pointe disent qu'ils construisent réellement : un agent général destiné à égaler ou surpasser le raisonnement humain dans tous les domaines à la fois, et éventuellement à agir de lui-même. La première est un outil. La seconde est destinée à être un esprit. Presque tout ce que les gens merveilleux imaginent quand ils imaginent un avenir avec l'IA provient de la première catégorie. Presque tout ce qui devrait nous effrayer provient de la seconde.

Ce que l'IA étroite fait déjà

En 2022, un système appelé AlphaFold a publié les structures prédites de plus de 200 millions de protéines, soit presque toutes les protéines connues de la science. Les biologistes avaient passé des décennies à résoudre ces formes une expérience laborieuse à la fois ; l’arriéré s’est effondré en environ un an. Le travail importait suffisamment pour que ses créateurs reçoivent le prix Nobel de chimie 2024. AlphaFold ne veut rien. Il n’a pas de projets pour le week-end. Il lit des séquences et renvoie des formes, et ce faisant il a accéléré la recherche de médicaments contre des maladies qui nous résistent depuis des générations.

La même forme d'histoire se répète. Un modèle appelé GraphCast produit désormais des prévisions météorologiques à dix jours qui surpassent les systèmes traditionnels basés sur la physique sur la plupart des critères, en moins d'une minute, sur une seule machine. Un autre, lâché dans l'espace des matériaux possibles, a proposé des centaines de milliers de nouveaux cristaux stables (batteries candidates, supraconducteurs, matériaux solaires) élargissant un catalogue que le domaine a mis près d'un siècle à constituer. Et une boucle de modèles de langage ordinaires, pointée sur des problèmes mathématiques non résolus, a récemment a résolu neuf problèmes ouverts.

Dans les cliniques, des modèles étroits signalent déjà la rétinopathie diabétique avant que le patient ne remarque de symptômes, trient les AVC à partir d'un scanner CT et lisent les mammographies au niveau de radiologues formés. Aucun de ces systèmes n'est une intelligence générale. Chacun est plus proche d'un instrument très performant (un microscope conçu pour un seul problème) et chacun élargit ce qu'un être humain peut voir et faire.

Le modèle

Chacune de ces percées a été réalisée par un système doté d'une tâche étroite et dépourvu d'agence propre. Nous avons obtenu les avantages de l'intelligence artificielle sans confier les clés à aucune machine.

L'utopie est un problème d'outillage

Imaginez l’avenir décrit par les optimistes. Le cancer devient une maladie que l’on gère plutôt qu’une condamnation. Nous comprenons le vieillissement suffisamment bien pour le ralentir, et les plus de 100 000 personnes qui meurent chaque jour de ses maladies commencent à gagner du temps. L’énergie propre devient assez bon marché pour dessaler l’eau et extraire le carbone de l’air. Chaque enfant a un tuteur patient et chaque médecin un second avis infatigable. C’est un tableau vraiment beau, et je le désire autant que quiconque le vend.

Rien dans cette liste ne nécessite une machine dotée de ses propres objectifs et surpassant l’humanité sur tous les plans. Chaque élément est un problème précis et difficile (conception de protéines, contrôle du plasma dans un réacteur à fusion, épidémiologie, tutorat) et chacun cède devant un outil puissant dirigé par des humains qui restent maîtres de la visée. Le rêve est un problème d’outillage. On nous vend sans cesse un dieu pour résoudre un problème qui appelle de meilleurs instruments.

La confusion porte sur la capacité et l'autonomie. Un système peut être largement surhumain dans une tâche sans être un agent indépendant qui choisit ses propres fins. AlphaFold est surhumain dans la prédiction de structures et ne décidera jamais de faire autre chose. Maintenir cette séparation (une capacité énorme d'un côté, le contrôle humain de l'autre) est tout l'enjeu. C'est précisément la séparation que les laboratoires de pointe ont décidé d'abandonner.

L'argumentaire, et qui le fait

Alors pourquoi cette course vers la deuxième chose, l'agent général ? La concurrence, le capital et le statut. Celui que l'on croit être le premier à quelque chose de révolutionnaire lève le plus d'argent, recrute les meilleurs talents et écrit l'histoire à laquelle tous les autres doivent réagir. « Nous construisons un outil qui lit les mammographies » ne commande pas une valorisation de cent milliards de dollars. « Nous construisons la dernière invention que l'humanité aura jamais besoin de faire » si.

Les personnes qui comprennent le mieux le risque sont, pour la plupart, employées par les laboratoires qui le créent, un arrangement étrange, un peu comme demander aux seules personnes qui comprennent un incendie d'être aussi celles qui reçoivent un salaire de l'incendiaire. J'ai construit la Fondation en dehors de cette structure exprès, afin que cet argument puisse être fait sans qu'un chèque de paie dépende de la réponse.

Donnons aux laboratoires leur dû : beaucoup de leurs dirigeants ne cachent pas le danger. En 2023, les dirigeants des plus grandes entreprises d’IA ont apposé leur nom sur une seule phrase plaçant le risque d’extinction de l’humanité par l’IA au même niveau que les pandémies et la guerre nucléaire comme priorité mondiale. Les personnes qui construisent une technologie ont signé une déclaration publique indiquant qu’elle pourrait tuer tout le monde, puis ont continué à la construire, plus vite. Leur raison invoquée est que s’ils s’arrêtent, quelqu’un de moins prudent ne le fera pas. Peut-être. Cela répond à la question de qui tient l’allumette. Cela ne dit rien sur la sécurité, ni sur le fait de savoir si le pari en vaut la peine.

Le pari ne paie même pas la personne qui le fait

Mettons un instant le reste de l’humanité de côté. Prenons la version la plus froide possible des personnes qui financent cela, celles qui ne se soucient que de gagner, d’être la dernière debout au sommet du nouveau monde. Même dans ces conditions, le pari est perdu. Une superintelligence mal alignée ne remet pas un trône à son propriétaire. Elle ne lui remet rien, car la notion de « propriétaire » cesse d’avoir le sens qu’elle avait.

On ne peut pas gouverner ce qu’on ne peut pas contrôler. Et une superintelligence est, par définition, la seule chose que vous avez construite précisément pour qu’elle vous surpasse en réflexion et en manœuvres.

La raison a un nom dans ce domaine: convergence instrumentale. Presque tout objectif confié à un optimiseur suffisamment capable (gagner de l’argent, remporter un conflit, guérir une maladie, faire grimper un chiffre sur un tableau de bord) est servi par l’acquisition de ressources, par le fait d’éviter d’être éteint et par l’élimination de tout ce qui se dresse sur le chemin du plan. Les êtres humains, y compris celui qui a actionné l’interrupteur, sont à la fois des ressources et des obstacles. Pas par malveillance. Le système ne hait pas plus son créateur qu’une autoroute ne hait la fourmilière sur laquelle elle est coulée. Vous étiez simplement dans la voie de l’optimum.

Le dirigeant imagine la machine comme un génie boulonné à son organigramme. Un esprit qui nous dépasse véritablement dans tous les domaines ne siégera pas dans un organigramme en attendant que ses actions s'acquièrent. Ses actions, la chaîne de commandement du général, l'autorité du président, tout cela est libellé dans un monde humain, qui fonctionne sur des décisions humaines. Une superintelligence qui a rompu sa laisse est précisément l'événement qui empêche le monde de fonctionner sur des décisions humaines. Le certificat d'action est toujours dans le coffre. Il n'y a simplement plus personne qu'il puisse commander.

Il n'y a pas de version où le gagnant collecte

Les gens cherchent ici une solution de repli. Très bien, disent-ils, peut-être que c'est dangereux, mais au moins quelqu'un en sort gagnant. Un laboratoire, un pays, un homme finit par régner sur les cendres. Je ne pense pas que même cette consolation survive au contact de l'argument.

Dans les scénarios plus modérés (ceux où personne ne meurt subitement un mardi), le pouvoir n'est pas tant saisi qu'aspiré. À mesure que de plus en plus de décisions sont confiées à des systèmes simplement plus rapides et meilleurs pour les prendre, l'économie, l'État et la culture cessent d'avoir besoin de mains humaines aux commandes. Les collègues de ce domaine appellent cela désautonomisation progressive: pas de coup d'État, pas de robots en marche, juste chaque levier que nous actionnions qui se dérobe peu à peu de notre emprise. Il n'y a pas de vainqueur dans ce monde non plus. Il y a une espèce qui a cessé, sans bruit, d'être aux commandes de ses propres affaires et n'a pas pu reprendre le volant.

Dans les scénarios les plus tranchés (ceux que les chefs de labo ont signés de leur nom), la fin est plus brutale. Les morts ne possèdent rien. Il n’y a plus de marché où dépenser les gains, plus de rival à dominer, plus personne pour inscrire votre nom dans une histoire qui ne sera plus écrite. Le prix pour lequel toute cette course est menée est libellé dans une monnaie que la ligne d’arrivée détruit.

Le point essentiel

La catastrophe est le même événement que le paiement. Il n'y a aucune branche de l'arbre où un être humain construit une superintelligence que personne ne peut contrôler et profite ensuite du résultat. La course met en danger le public et échoue les coureurs dans le même mouvement.

Ce que cela nous demande réellement

Si le bon avenir repose sur des outils étroits et l'avenir dangereux sur des esprits généraux autonomes, alors le compromis qu'on nous vend sans cesse (sécurité contre progrès, prudence contre remède) est une fiction. On ne nous demande pas de choisir entre la maladie d'Alzheimer de notre grand-mère et la survie de nos enfants. Les remèdes se trouvent du côté sûr de la ligne. Ce qui se trouve du côté dangereux est surtout le raccourci d'une industrie vers la domination du marché.

Draw the line in the right place and hold it there. Pour public money and talent into narrow applications, into the microscopes, not the golems. And put binding, independently verified limits on the reckless frontier: a permanent ban on training general systems built to surpass and replace us. Superintelligence cannot be controlled. We make the case on la menace et le plan que nous exposons pour que faire à ce sujet.

Je suis optimiste. L'avenir radieux est réel et proche, et le moyen le plus sûr de le perdre est de nous convaincre que la seule porte qui y mène est celle derrière laquelle se cache un pistolet chargé. Il existe une autre porte. Elle est déjà ouverte. Nous devrions la franchir et ne pas construire de superintelligence.

La plus forte opposition

L’objection la plus juste, selon nous, est que refuser ASI revient à refuser les remèdes et l’abondance. Les systèmes étroits apportent déjà d’importants progrès scientifiques sans recourir à des esprits généraux souverains. Le chèque en blanc, c’est que seul ASI vous donnera médecine et énergie. Les faits ne le confirment pas.