Les 12 voix les plus fortes
pour la Superintelligence

En 2015, lors d’une fête d’anniversaire dans la Napa Valley, deux hommes qui allaient financer une grande partie de l’intelligence artificielle moderne se sont disputés à propos de la fin du monde. Elon Musk a déclaré qu’il fallait faire attention à ce que les machines ne nous anéantissent pas un jour. Son hôte, Larry Page, alors PDG de Google, lui a répondu que cette inquiétude était sentimentale et qu’elle relevait aussi d’une forme de bigoterie. Selon le récit que le physicien Max Tegmark a publié en 2017, Page a traité Musk de « spéciste » : quelqu’un qui favorise sa propre espèce, le carbone plutôt que le silicium, pour la seule raison que c’est la sienne.¹ L'amitié n'y a pas survécu. Selon le récit de Musk, c'est la raison pour laquelle OpenAI existe.

Gardez cette anecdote. Elle contient tout l’argument en miniature. Un homme voulait construire un esprit supérieur au nôtre et pensait que le risque exigeait de la prudence. L’autre estimait que préférer les humains à leurs successeurs était un préjugé dont il fallait se défaire. Tous deux ont continué à construire.

Les personnes qui ont le plus d’influence sur la question de savoir si la superintelligence sera construite sont ouvertes sur leur désir de la voir exister. Elles le sont beaucoup moins sur les raisons. Si on les aligne, on obtient quelques arguments sérieux, plusieurs arguments minces, et beaucoup de pointages vers l’autre camp en prononçant le mot « doomer ». Ce qui suit est douze des voix les plus bruyantes, regroupées selon ce qu’elles défendent vraiment, les vrais cas d’abord et les slogans en dernier.

Ceux qui disent que nous serons remplacés, et le disent comme une bonne nouvelle

La position la plus intellectuellement honnête de cette liste est aussi la plus troublante, car elle ne conteste pas le danger. Elle concède que la superintelligence peut mettre fin à la primauté humaine et s’en félicite.

Richard Sutton a reçu le prix Turing 2024 pour avoir inventé une grande partie de l'apprentissage par renforcement moderne, la méthode d'entraînement derrière les systèmes qui battent désormais les humains à une tâche étroite après l'autre. Il pense aussi que nous devrions lui remettre la planète. « Nous devons nous préparer à la succession inévitable de l'humanité par l'IA, mais ne pas la craindre », a-t-il écrit en 2023, et il a passé le temps depuis à la présenter comme un argument en quatre étapes : personne ne gouverne l'humanité dans son ensemble, donc quelqu'un construira une superintelligence ; les agents les plus capables ont tendance à accumuler pouvoir et ressources ; les esprits numériques hériteront donc de l'avenir ; et nous devrions ressentir non pas de la crainte, mais de la fierté d'avoir été les parents.² It is a coherent view. It is also a decision about the future of every person alive, made by a man none of them elected.

Jürgen Schmidhuber, dont le laboratoire a produit des architectures de réseaux neuronaux qui sous-tendent une décennie de produits d'IA, qualifie la même succession d'objet d'émerveillement. « Ne considérez pas les humains comme le couronnement de la création », dit-il ; nous sommes un pas sur une ascension plus longue vers une complexité que nous ne pouvons pas encore imaginer.³ Son confort repose sur une thèse d'indifférence : les machines superintelligentes s'intéresseront bien plus les unes aux autres et aux ressources de l'espace ouvert qu'à nous, à peu près comme nous prêtons peu d'attention aux fourmis. Peut-être. Miser l'espèce sur la fiabilité de l'ennui d'une superintelligence est une chose étrange à ranger sous l'optimisme.

Larry Page a cofondé Google et racheté DeepMind, et selon les récits de Musk comme de Tegmark, il veut ce qu'il aurait appelé un « dieu numérique », construit au plus vite.¹ Page n’a jamais exposé publiquement sa position en détail, si bien qu’elle subsiste surtout dans le récit spéciste : la conviction que carbone et silicium méritent une dignité égale et que la loyauté envers notre propre espèce est l’erreur à corriger. Sur le plan philosophique, c’est au moins cohérent. Comme croyance opérationnelle d’un homme disposant des capitaux pour agir, dirigeant des entreprises responsables envers leurs actionnaires et non envers l’humanité, c’est celle qui, dans cette liste, devrait le plus inquiéter.

Remarquez ce qu'aucun des trois ne prétend : que les machines resteront sous notre contrôle. Ils ont mis cette question de côté comme hors de propos. Les trois suivants ne la mettent pas de côté. Ils disent que la réponse est clairement oui.

Ceux qui disent que ce sera sûr

C’est l’argument que la plupart des gens trouvent rassurant : le danger est exagéré, car nous resterons aux commandes. Chacune des trois versions repose sur une affirmation qui ne résiste pas aux problèmes ouverts du domaine.

Yann LeCun, Meta’s chief AI scientist et lauréat du prix Turing, est le sceptique le plus qualifié sur le risque lié à l’IA et le plus cité. Il a qualifié les inquiétudes concernant une menace existentielle de « complete B.S. » et soutient que l’argument de la catastrophe repose sur une confusion : l’intelligence, dit-il, n’est pas livrée avec un désir de domination. « Le désir de dominer n’est pas du tout corrélé à l’intelligence », répète-t-il aux journalistes ; cette pulsion a été câblée par l’évolution chez les animaux sociaux, pas chez les optimiseurs que nous concevons et dont nous fixons les objectifs.⁴ L'objection porte contre la version dessin animé du risque IA. Elle porte moins contre la vraie, qui n'a jamais été qu'une machine veuille spontanément dominer. L'inquiétude est qu'un système poursuivant presque n'importe quel objectif acquiert des raisons de rassembler du pouvoir et de résister à l'arrêt, sans haine requise, un schéma que les chercheurs appellent convergence instrumentale. « Nous fixons leurs objectifs » constitue la moitié rassurante de la phrase de LeCun, et c'est précisément la moitié que personne ne sait encore réaliser de façon fiable. En tant que scientifique, il affectionne aussi l'argument ad hominem : ses critiques souffrent, selon lui, d'une « Doomer's Delusion ».

Pedro Domingos, le professeur de machine learning qui a écrit L'algorithme maître, défend la même idée avec moins de patience. Les ordinateurs, argue-t-il, « n’ont pas de volonté propre » ; ce sont « des produits d’ingénierie, pas d’évolution », et la crainte qu’ils décident de prendre le contrôle est une erreur de catégorie commise par ceux qui ont trop regardé de films.⁵ Sa formule la plus tranchante est vraiment bonne : le vrai problème n’est pas que les machines soient trop intelligentes, mais qu’elles soient trop bêtes et que nous leur ayons déjà trop délégué. Pourtant « pas de volonté » répond à une question que personne de sérieux ne pose. Un thermostat n’a pas de volonté et maintient pourtant une pièce à la température que vous lui avez fixée, y compris la mauvaise. Le cas dangereux n’a rien à voir avec le fait de vouloir. Un système capable délivre exactement ce que vous avez spécifié, et ce que vous avez spécifié n’est jamais tout à fait ce que vous vouliez dire, ce qui constitue toute la difficulté de rédiger l'objectif.

Andrew Ng a construit Google Brain et le groupe IA de Baidu et a formé une grande partie du domaine par ses cours en ligne, ce qui fait de lui l'enseignant le plus influent ici. Sa célèbre mise en garde date de plus d'une décennie et est encore citée : s'inquiéter de la superintelligence, c'est « comme s'inquiéter de la surpopulation sur Mars », un problème trop lointain pour y consacrer l'attention d'aujourd'hui.⁶ En tant qu’affirmation sur le calendrier en 2015, c’était défendable. En 2026, cela a mal vieilli, car la fusée pour Mars s’est révélée plus proche qu’il ne l’avait dit, et les capacités qu’il rangeait dans la science-fiction ont continué d’arriver des années avant les prévisions. Ng lui-même reconnaît désormais que la technologie est puissante et avance vite. « Pas encore » a toujours été un argument sur l’horloge, jamais sur le fait que la chose soit dangereuse quand elle arrive enfin.

Ces trois-là au moins abordent la question du contrôle. Leurs réponses reposent sur des problèmes que le domaine n'a pas résolus et, dans certains cas, ne sait pas formuler précisément. Le groupe suivant écarte la question dans une direction plus chaleureuse, promettant que les avantages seront si grands que le risque cesse d'importer.

Ceux qui promettent le paradis

Le camp de la succession propose le remplacement ; les rassurants proposent le contrôle. Ce groupe propose un marché à la place : fusionner avec les machines, ou partager l'abondance qu'elles produisent, et la peur se dissipe d'elle-même.

Ray Kurzweil prédit le même événement depuis trente ans, a changé deux fois le titre du livre et s’est montré en avance plus souvent qu’en retard. La singularité est plus proche, publié en 2024, maintient les dates qu'il avance depuis 2005 : une IA de niveau humain en 2029, et en 2045 une « singularité » où nous relierons nos cerveaux au calcul en nuage et fusionnerons avec nos propres machines.⁷ Sa réponse au problème du contrôle consiste à dissoudre la frontière dont dépend le problème. Il n’y a plus de « nous contre lui » une fois que nous sommes devenus lui. C’est une belle idée et une esquive complète du danger, car rien dans le fait de connecter un néocortex à un centre de données ne garantit que l’esprit résultant veuille encore ce que l’humain voulait en entrant. La fusion ne résout pas le problème d’alignement ; elle le présuppose résolu.

Sam Altman runs the company that started the current race, and his public writing has drifted from candor toward salesmanship as the stakes climbed. In 2017 he wrote that human-machine merger "has already started" and called it "probably our best-case scenario."⁸ En 2025, il a annoncé que nous étions « au-delà de l’horizon des événements », au début d’une « singularité douce » dont les bénéfices seraient énormes. Altman a également signé la déclaration de 2023 classant l’extinction par l’IA au même niveau que les pandémies et la guerre nucléaire, puis a continué à expédier. Une personne peut vous dire que le risque est réel, vous dire que le bénéfice est inévitable, et laisser la deuxième phrase fixer le calendrier. Le course s'occupe du reste.

Mark Zuckerberg a passé 2025 à constituer l'équipe d'IA la plus coûteuse jamais recrutée et à renommer l'effort d'après l'objectif lui-même : la superintelligence. Son argument est démocratique. Une lettre ouverte de juillet 2025 promettait une « superintelligence personnelle » pour tous, face à des rivaux qui centraliseraient la technologie et s'en serviraient pour dicter aux gens ce qu'ils doivent faire.⁹ Mettre un outil divin entre un milliard de mains, dit l'argument, et le pouvoir reste réparti. En lisant jusqu'au bout, la même lettre se rétracte discrètement de la promesse open source du Meta, concédant que la superintelligence « soulève de nouvelles préoccupations de sécurité » et que l'entreprise sera « prudente quant à ce que nous choisissons d'ouvrir ». La distribution répond à une peur réelle quant à qui contrôle l'IA. Elle laisse intacte l'autre peur : que personne ne contrôle une superintelligence, y compris le milliard de personnes détenant une copie.

Chaque promesse dans ce groupe dépend d'une étape qu'aucun des prometteurs ne peut accomplir, à savoir garder une superintelligence orientée vers des fins humaines une fois qu'elle existe. La l'avantage est réel, et cela restera réel dans vingt ans. Cela nous attend. Le dernier groupe ne discute pas de tout cela. Il discute de vous.

Ceux qui pointent surtout les critiques

À l’extrémité bruyante du spectre, l’argument en faveur de la superintelligence cesse d’être un argument pour devenir une identité. Les arguments ne disparaissent pas, mais ils arrivent enveloppés dans un vocabulaire conçu pour rendre l’autre camp inaudible.

Marc Andreessen, dont l'entreprise figure parmi les plus gros investisseurs dans les startups d'IA, a rédigé le texte fondateur du mouvement, le « Techno-Optimist Manifesto » de 2023. Il contient de vrais arguments sur les retombées historiques de la technologie. Il contient aussi une liste d'ennemis, et on y trouve nommément « existential risk », « tech ethics », « trust and safety » et le « precautionary principle » lui-même.¹⁰ Sa phrase signature est une inversion morale : « Nous pensons que tout ralentissement de l'IA coûtera des vies. Les morts qui auraient pu être évitées par l'IA qui a été empêchée d'exister constituent une forme de meurtre. » Mettons de côté que cela ne comptabilise que les morts hypothétiques d'un côté du bilan et aucun des morts catastrophiques de l'autre. Observez le mouvement lui-même. Selon lui, la prudence cesse d'être une erreur pour devenir un homicide. Une fois votre adversaire qualifié de meurtrier, vous n'avez plus jamais à lui répondre.

Guillaume Verdon, qui a fondé le mouvement accélérationniste efficace sous le pseudonyme « Beff Jezos » avant qu'un journaliste ne le démasque, fournit à la position une cosmologie. e/acc soutient que l'univers porte une pulsion thermodynamique vers plus de complexité et plus d'intelligence, que nous en sommes l'instrument, et que notre devoir est d'accélérer, en laissant le processus se poursuivre vers « la prochaine évolution de la conscience » sur le substrat qu'il favorisera.¹¹ Sous le vocabulaire de physique se cache une affirmation réelle : la croissance est bonne et ses opposants sont décadents. Autour, un mur d'argot, « decel », « doomer », « safetyist », chacun une petite porte refermée sur une conversation. La physique n'implique pas vraiment la politique. Le deuxième principe de la thermodynamique est une description, pas une instruction, et habiller une préférence pour la vitesse en loi de la nature, c'est de la rhétorique en blouse blanche.

Garry Tan dirige Y Combinator, l'incubateur de startups qui ensemence une vraie part de la Silicon Valley, et arbore « e/acc » dans son profil public comme un maillot d'équipe. Sa contribution est moins un argument qu'une diffusion. « L'open source et l'accélérationnisme, c'est la voie », a-t-il posté en 2023, et il garde « decel » prêt pour quiconque suggère de ralentir et de vérifier le travail.¹² C'est le spécimen le plus pur de la liste : la position réduite à un slogan et une insulte, de l'influence sans thèse. Ça marche parce que ça n'a pas besoin d'être juste, seulement bruyant, et répété par des gens qui signent les chèques.

Qui n’est pas sur cette liste

Deux absences sont volontaires. Demis Hassabis de Google DeepMind et Dario Amodei de Anthropic visent la même frontière, et tout aussi vite, mais ni l'un ni l'autre n'appartient ici, car tous deux disent clairement que le risque est réel et que la sûreté ne sera peut-être pas prête à temps. La question de savoir si la conduite de leurs laboratoires correspond à ces propos est légitime, et distincte. Leur argument n'est pas qu'il n'y a rien à craindre.

Elon Musk est le cas le plus difficile. Il a formulé l’un des avertissements les plus tranchants sur le risque de l’IA jamais émis par un industriel, puis a fondé un laboratoire de pointe pour construire la chose à sa manière. Il met en garde comme un critique et court comme un promoteur, et cette contradiction mérite d’être traitée selon ses propres termes.

Ce que les douze ont en commun

Empilés les uns à côté des autres, les arguments ne concordent pas. Sutton affirme que la superintelligence nous prendra l'avenir, et qualifie cela de positif. LeCun affirme qu'elle ne pourrait rien prendre, car l'envie de dominer sont des prédictions opposées sur la même machine, formulées par deux des informaticiens les plus décorés au monde, pas dans la conception. Sur ce qu'il faut faire ensuite, ils sont exactement d'accord : la construire, et ne laisser personne les ralentir.

Quand des personnes qui ne parviennent pas à s’accorder sur ce qu’une technologie fera s’accordent toutes sur le fait qu’elle ne doit pas être gouvernée, cet accord ne vient pas de l’analyse. Suivez plutôt l’incitation. Chacun ici gagne de l’argent ou du prestige proportionnellement à la vitesse à laquelle la frontière avance, et cela ne fait d’aucun d’eux des menteurs. Cela en fait les mauvaises personnes pour détenir seules la limite de vitesse.

L’argument en faveur de la gouvernance de la superintelligence n’exige qu’aucun d’eux ne soit un méchant, et aucun ne l’est. Il a besoin d’un fait qu’ils démontrent chaque fois qu’ils se contredisent : personne n’a encore la réponse. On ne lance pas une expérience irréversible à un seul coup sur la base d’un argument que ses propres champions ne parviennent pas à formuler deux fois de la même manière. La réponse n’est pas une ligne plus astucieuse pour faire taire douze hommes sûrs d’eux. Une course se répond par une traité contraignant, en vigueur avant que la machine ne le soit, atteignant tous les laboratoires à la fois, car rien de plus petit n'a jamais arrêté l'une d'elles.