Drop me into 1958 and I do not think I would have hesitated. I would have spent my life trying to keep the world from ending. My foundation would have worked on keeping the United States and the Soviet Union from a thermonuclear war, not out of any special courage, but because that was the fight that decided whether there would be a future to argue about at all. Every other cause sat downstream of it.
Je n’ai pas eu ce combat. La bombe a été construite, visée et, jusqu’à présent, jamais utilisée contre une ville depuis 1945. Les personnes qui ont fait tenir ce « jusqu’à présent », celles qui ont passé la guerre froide à bâtir les interdictions d’essais, les lignes directes et les régimes de vérification qui ont empêché une confrontation terrifiante de devenir définitive, ont accompli certains des travaux les plus importants du siècle dernier. La plupart ne seront jamais célèbres pour cela. La prévention est silencieuse par nature. Quand elle fonctionne, rien ne se produit, et rien est une chose difficile à mettre sur un monument.
La même forme, une nouvelle arme
When I say we are living through a new Cold War, I mean the same shape: the United States and China racing toward a technology neither can let the other reach first, that could end the human story if it goes wrong, and that no one racing can honestly claim to control. Swap the hydrogen bomb for artificial superintelligence and you have 1958 and 2026 in one sentence.
Je ne suis pas le seul à percevoir cet écho. En juin, le directeur de la CIA a déclaré devant un public à Washington qu'il ne serait pas déplacé d'évoquer les capacités des modèles de pointe actuels "des armes nucléaires numériques."
Les différences vont dans le mauvais sens
Il existe de vraies différences entre hier et aujourd’hui, et c’est ce qui m’empêche de dormir. Presque toutes rendent notre situation plus difficile, pas plus facile. Une arme nucléaire reste entre des mains humaines ; une superintelligence ne ferait pas. La matière nucléaire est physique, donc extractible et comptable. Les intrants de l’IA sont des puces et du code, plus difficiles à voir et plus faciles à dissimuler, bien que pas impossible à gouverner. Et la Guerre froide a offert à ses participants une chose que nous n'aurons peut-être pas : du temps. Le monde a eu des années pour absorber Hiroshima, pour ressentir la peur au creux de l'estomac et pour construire des institutions en réponse. Les capacités de l'IA progressent plus vite que toute institution que nous avons ne peut suivre.
Ce que la Guerre froide a réellement prouvé
Mais la même époque a démoli l’argument sur lequel les accélérationnistes s’appuient le plus : celui selon lequel des rivaux qui se méfient les uns des autres ne peuvent jamais s’entendre pour se retenir. Washington et Moscou ne se faisaient aucune confiance, et ils ont pourtant signé des accords de maîtrise des armements contraignants et vérifiables, parce que chacun voyait qu’une course sans limites les laissait plus mal lotis qu’une règle les liant également. La méfiance était la raison des traités, non l’obstacle à ceux-ci. Si deux gouvernements ont pu trouver cette logique avec des dizaines de milliers d’ogives pointées sur les villes de l’autre, l’affirmation confiante que les États-Unis et la Chine ne peuvent jamais en faire autant sur l’IA est un alibi pour continuer, déguisé en réalisme lucide.
Pourquoi la Fondation existe
L'équivalent de ce combat est tombé sur ma génération, et cette fois je suis là pour lui. Je refuse de faire partie de la génération qui a construit l'arme capable de se viser elle-même et qui s'est dit, tout au long du chemin, qu'elle n'avait pas le choix.
Ceux qui ont évité le pire de la guerre froide y sont parvenus en affirmant, contre tous ceux qui les traitaient de naïfs, que certaines technologies sont trop dangereuses pour être livrées à une course. Ils avaient raison alors. La seule tâche qui compte aujourd’hui est d’avoir à nouveau raison, et à temps.