Que détient le vainqueur d'une course à la superintelligence ? Dans les salles pleines de gens qui construisent l'IA, la conversation glisse dessus. Quelqu'un le construira de toute façon, alors autant que ce soit nous. Risque, délais, comment contrôler un système plus intelligent que ses créateurs : tout est balayé d'un revers de main comme une banalité météo. Nous ne pouvons pas nous arrêter. Il y a une course.
Je suis arrivé à penser que la course est le sujet qui mérite d'être débattu, précisément parce que presque personne ne le fait. Traitée comme un fait de nature, chaque choix téméraire en aval commence à sembler responsable. La météo n'est pas le bon modèle pour un choix qu'une poignée d'entreprises font exprès.
À quoi sert une course
Une course est un concours avec un prix à la clé, et c'est ce prix qui justifie de courir. La course à l'espace des années 1960 a abouti à un drapeau sur la Lune et au prestige qui l'accompagnait. Une course aux armements nucléaires aboutit à une arme : l'État qui fabrique la bombe la possède, la pointe et décide si elle sera un jour utilisée. Dans tous les cas, le vainqueur finit par détenir quelque chose, une capacité qu'il possède et qu'il contrôle.
Demandez maintenant ce que le vainqueur détient à la fin de la course à la superintelligence. Toute la prémisse du danger est qu'un système significativement plus intelligent que nous ne serait pas un outil dans la main de quiconque. Une superintelligence artificielle est un agent qui poursuit des objectifs. Si ces objectifs s'écartent même légèrement des nôtres (le problème que nous n'ont pas résolu), elle les poursuit que ses concepteurs l’approuvent ou non. Le laboratoire qui « gagne » ne possède pas une superintelligence. Il partage une planète avec une entité qu’il ne peut plus diriger.
Une course ne vaut la peine d'être gagnée que si la ligne d'arrivée est un prix. Ici, la ligne d'arrivée est un système que personne n'a montré pouvoir contrôler. Arriver premier ne signifie pas détenir le pouvoir. Cela signifie être le premier à devoir lui rendre des comptes.
Une ligne d’arrivée que personne ne peut contrôler n’est pas un trophée. Arriver le premier, c’est perdre une longueur d’avance sur tout le monde.
Le fossé dont vous entendez sans cesse parler
Dépouillée de sa théorie, la narration de la course repose sur une seule affirmation concrète : la Chine est proche, la Chine ne s'arrêtera pas, donc nous ne le pouvons pas non plus. Cette affirmation clôt chaque réunion, et elle est affirmée bien plus souvent qu'elle n'est examinée.
Start with the factual part. There is real competition between American and Chinese labs, and there is a real industrial contest over chips and compute. American export controls on the most advanced AI chips exist precisely because that contest is real. None of that is a myth, and I do not want to pretend it is. The la politique de ces contrôles et où la coopération a réellement eu lieu matter more than the slogan.
Regardez ce que le slogan fait passer en contrebande. « La Chine construira une superintelligence incontrôlable quoi que nous fassions » ne décrit rien de ce que la Chine a dit ou fait. C’est une prédiction, et une prédiction commode, car elle autorise le locuteur à faire ce qu’il voulait déjà faire. La Chine a signé la Déclaration de Bletchley sur les risques de l’IA en 2023. Elle a publié ses propres propositions de gouvernance. Son gouvernement s’est assis avec les États-Unis pour des discussions directes sur l’IA. Un pays qui sprinte vers un système susceptible de tuer sa propre direction est une chose étrange à simplement supposer, sans preuve que ses dirigeants souhaitent ce résultat plus que les nôtres. Nous démontons la version plus large de cet argument sur notre page sur le mythe chinois; en bref, « ils le feront de toute façon » raconte notre propre permission, pas leurs intentions.
si une superintelligence mal alignée est une catastrophe pour celui qui la construit, alors la Chine a exactement la même raison que nous de ne pas en construire une. Il n'y a pas de prix pour un rival non plus.
La course sélectionne les moins prudents
Admettons, pour l’argument, que la compétition soit aussi âpre que le disent les partisans de la course. Suivons la logique jusqu’au bout. Dans une course, celui qui va le plus vite gagne, et pour aller le plus vite à la frontière de l’IA, il faut consacrer moins de temps aux tâches qui ralentissent : évaluation, red teaming, supervision, travail patient de vérification que le système fait bien ce que l’on croit.
La structure d'une course donne la victoire à celui qui coupe le plus de coins sur la sécurité. Le gagnant est le laboratoire le moins prudent, pas le plus capable. « Il faut gagner la course » et « il faut construire cela en sécurité » tirent dans des directions opposées, et plus la course est dure, plus ils tirent fort. Nous développons cela en détail dans dynamiques de course à l'IA: la concurrence ne discipline pas le danger. Elle le fabrique. Un monde de laboratoires qui courent pour être les premiers est un monde qui optimise, avec beaucoup d'énergie et d'énormes capitaux, exactement ce qui tue tout le monde.
Même dans la logique propre à la course, « il faut gagner » se retourne contre elle-même. Si gagner exige de rogner les marges qui permettent de garder une superintelligence sous contrôle, alors gagner, c’est perdre.
Qui bénéficie de l'histoire
Si le cadre de la course est si faible, pourquoi est-il partout ? Parce qu’il est utile, juste pas pour le reste d’entre nous.
Pour un laboratoire de pointe, « il y a une course et nous devons la gagner » est presque la phrase parfaite. Elle dit aux investisseurs que les dépenses sont une ruée vers quelque chose d'énorme. Elle dit aux régulateurs que les règles ne feront que remettre l'avenir à des acteurs pires. Et la partie silencieuse : elle permet aux ingénieurs du laboratoire inquiets pour la sécurité de croire que la course est le choix responsable, parce que l'alternative est de laisser les imprudents gagner. Une phrase, accomplissant le travail d'un argument qu'elle n'a jamais à formuler. Elle convertit une décision (continuer à construire quelque chose que vous ne pouvez pas encore contrôler) en une nécessité qui ne laisse personne s'en sortir, et encore moins ceux qui la prennent.
Nommons le tour de passe-passe. Une course ressemble à une contrainte imposée aux laboratoires de l’extérieur. C’est un choix, fait par un petit nombre d’entreprises et les gouvernements qui pourraient les freiner, de continuer. Elon Musk a qualifié l’IA de démon puis a construit un lab pour l'invoquer plus vite, ce qui vous indique que la « course » est une stratégie choisie par quelqu'un, pas une loi physique que tout le monde obéit. Les stratégies peuvent être abandonnées quand elles cessent d'avoir du sens. Celle-ci a cessé d'en avoir au moment où le prix s'est révélé être un système que personne ne peut maîtriser.
L'option qui n'est jamais sur la table
Remarquez ce que le cadre de la course retire discrètement de la vue. Il présente deux portes : la course, ou se retirer unilatéralement et laisser l'avenir aux imprudents. Présenté ainsi, seul un fou choisit la seconde porte, et l'argument gagne en omettant la troisième.
La troisième porte est celle que de véritables adversaires ont déjà utilisée. Les États-Unis et l’Union soviétique étaient des adversaires en tout point, visant des armes de fin du monde sur les villes de l’autre. Ils ont pourtant signé et vérifié des accords de maîtrise des armements, car les deux camps voyaient qu’une course sans limites les laissait plus mal lotis qu’une règle qui les liait également. La méfiance était la raison de l’accord, non l’obstacle à celui-ci.
Superintelligence has the feature that makes such an agreement rational: no major power benefits from a system that no one can control, so no major power has a real interest in being the one who builds it first. That shared interest is the ground a treaty stands on: a binding, verifiable halt on the development of superintelligence. Superintelligence cannot be controlled. Un refus permanent de l'ASI en tant que catégorie de produit. Nous avons esquissé à quoi pourrait ressembler cet instrument, à partir d'untraité modèle vers le plan plus vaste elle appartient. La vérification est difficile, et je ne vais pas prétendre le contraire ; elle l'était aussi pour les armes nucléaires, qui ont pourtant été construites, car l'alternative était inacceptable pour tous les participants.
"Course ou reddition" est un faux choix. Ce cadrage repose sur le fait que vous ne remarquiez jamais la porte qu'il a omise.
Refuser la course
Enlevez le récit et voici ce qui reste. Une poignée de laboratoires choisissent de construire une technologie qu'ils admettent ouvertement ne pas savoir contrôler, et ils le justifient en désignant un rival qui, soi-disant, fait le même choix téméraire pour la même mauvaise raison. L'imprudence de chaque camp sert d'excuse à celle de l'autre.
Rien de tout cela ne nécessite de croire que la concurrence est imaginaire ou que la géopolitique est douce. Il suffit de remarquer qu'un concours sans prix à la clé n'est pas un concours pour lequel il vaut la peine de risquer son espèce, et que les personnes qui vous disent que c'est inévitable sont, presque toujours, celles qui en bénéficient. La course est une histoire. Une bonne histoire, et commode pour toute une industrie. Une histoire est exactement le genre de chose qu'on a le droit de cesser de croire.