Les questions de sécurité de l'IA
que l'on entend le plus.

Selon tout cadre rigoureux d’évaluation de l’importance d’une cause (ampleur de l’impact, caractère négligé et tractabilité), la prévention des risques existentiels de la superintelligence artificielle constitue le défi le plus important auquel l’humanité est confrontée.

L’échelle est civilisationnelle : les systèmes actuellement en construction pourraient affecter chaque personne vivante et chaque génération future. La sous-priorisation est criante : la recherche mondiale sur la sécurité de l’IA reçoit une fraction des ressources consacrées au développement de l’IA lui-même. La tractabilité, bien qu’incertaine, est réelle : les cadres de gouvernance qui pourraient rendre le développement de l’IA plus sûr n’existent pas encore, mais la fenêtre pour les construire est encore ouverte.

Aucun autre problème ne combine un inconvénient illimité, une attention insuffisante et une fenêtre d’action qui se referme de la même façon. Si nous avons surestimé le risque, nous aurons construit de meilleures institutions de gouvernance. Si nous l’avons sous-estimé et n’avons rien fait, il n’y aura peut-être pas de seconde chance.

L'intelligence artificielle superintelligente (ASI) désigne les systèmes d'IA qui surpassent les performances cognitives humaines non seulement dans des tâches étroites (comme le font déjà les systèmes actuels aux échecs, dans le repliement des protéines et certains diagnostics médicaux), mais dans tous les domaines cognitifs exigeants simultanément.

Cette distinction avec l’IA actuelle est importante. Les systèmes d’aujourd’hui sont des détecteurs de motifs extrêmement capables, mais ils opèrent dans des paramètres définis et ne peuvent pas fixer leurs propres objectifs. Un ASI pourrait apprendre n’importe quelle compétence, raisonner sur n’importe quel problème et poursuivre n’importe quel objectif avec des capacités dépassant l’intelligence collective de l’humanité. Aucun système de ce type n’existe aujourd’hui. La question est ce que nous construirons (et sous quelles contraintes) avant qu’un tel système n’apparaisse.

Nous ne sommes pas contre l'IA. La plupart est bonne, et une partie est remarquable.

Il est utile de séparer trois choses qui sont habituellement amalgamées. L'IA étroite accomplit un type de tâche, plier une protéine ou repérer une tumeur sur un scanner, et elle sauve déjà des vies. L'IA à usage général, celle qui se trouve derrière les assistants les plus avancés d'aujourd'hui, est bien plus large ; selon beaucoup des définitions utilisées par les chercheurs il y a dix ans, elle est sans doute déjà arrivée. Les deux valent la peine d'être développées, et bien gérées elles pourraient aider à guérir des maladies et à élever le niveau de vie dans le monde entier.

L’intelligence artificielle superintelligente fait exception, et c’est la seule chose que nous travaillons à empêcher. Un ASI ne se contenterait pas d’égaler les capacités humaines dans tous les domaines ; il dépasserait l’intelligence combinée de l’humanité, et nous n’avons aujourd’hui aucun moyen fiable de contrôler un tel système ni de garantir que ses objectifs correspondent aux nôtres. Tant que cela n’aura pas changé, il ne devrait pas être construit. Tracer cette seule ligne rend sûr d’accueillir tout ce qui se trouve en dessous.

Non. La plupart des personnes qui travaillent le plus près de cette technologie ne parient pas contre le progrès. Elles savent ce que l’IA étroite fait déjà de bien, et elles en attendent beaucoup plus. Avec l’usage sûr d’une IA étroite, des outils qui restent sous direction humaine, nous pouvons encore viser à guérir le vieillissement, devenir une civilisation spatiale et tout le reste d’un avenir très prometteur.

Ce que nous refusons, c’est une superintelligence incontrôlée et dotée de ses propres objectifs, différents des nôtres. La ligne concerne une classe de systèmes que nous ne savons pas contrôler. La plupart des personnes travaillant sur la sécurité de l’IA sont optimistes pour les décennies à venir, à condition que nous ne construisions pas ce système. Si nous le faisons, nous serons trop morts pour profiter de l'avenir qu'ils espèrent.

Les risques liés à l'IA les plus souvent évoqués (biais algorithmique, désinformation par deepfake, déplacement d'emplois, surveillance de masse) sont réels et graves. Ils méritent une attention soutenue. Ce qu'ils ont en commun, c'est leur caractère borné : chacun est corrigible, causé par l'homme et peut être annulé. Un algorithme biaisé peut être audité et corrigé. Une campagne de deepfakes peut être contrée et réglementée. L'IA nuisible que nous rencontrons aujourd'hui est un outil mal utilisé par des humains.

Le risque de superintelligence est différent par nature, pas par degré. Le problème n'est plus un humain qui détourne un outil. Un ASI suffisamment capable pourrait poursuivre des objectifs que nous n'avons jamais voulus, et une fois ce niveau atteint, le désalignement risque d'être impossible à corriger.

Toute politique se fait dans l’incertitude sur l’avenir. La question pertinente n’est pas de savoir si la superintelligence est certaine d’arriver, mais si la probabilité de son arrivée, combinée à l’ampleur du dommage potentiel, justifie une action préventive dès maintenant.

Nous assurons des maisons qui ne brûleront probablement pas. Nous concevons des avions avec des systèmes de sécurité qui ne seront probablement jamais nécessaires. Nous maintenons des arsenaux nucléaires contre des attaques que nous espérons ne jamais voir venir. La logique de la valeur attendue (probabilité multipliée par conséquence) est le fondement de toute discipline sérieuse de gestion des risques. Appliquée à l'IA, elle suggère qu'une probabilité même modeste de résultats menaçant la civilisation, combinée à la possibilité de les prévenir par des cadres de gouvernance qui imposent aussi des coûts réels mais bornés, plaide fortement en faveur de l'action.

Réponse honnête : personne ne le sait avec précision. Ce que nous savons, c'est que le rythme d'amélioration des capacités de l'IA a constamment dépassé les prévisions des experts au cours de la dernière décennie, et que les laboratoires d'IA de pointe parlent désormais d'échéances en années ou en une décennie plutôt qu'en décennies. Les enquêtes auprès des chercheurs en IA situent l'estimation médiane pour une IA de niveau humain entre 2027 et les années 2030.

Le fait le plus décisif n'est pas une date précise mais un fait structurel : une technologie de cette ampleur pourrait arriver dans les horizons de planification des institutions, gouvernements et traités actuels. Le Traité de non-prolifération a pris des années à négocier et des décennies à étendre. Si nous attendons que ASI soit clairement imminent pour entamer de sérieux efforts de gouvernance, il sera déjà trop tard pour construire les cadres nécessaires pour la gouverner.

C’était l’opinion dominante il y a quelques années. Elle n’a pas bien vieilli. Les systèmes sortis depuis 2023 ont répété des choses que des experts, interrogés seulement quelques mois plus tôt, jugeaient encore à des années de distance.

Les prévisions n'ont bougé que dans un sens : vers le plus proche. Les chercheurs en IA interrogés ont réduit de plusieurs décennies leur estimation médiane du moment où l'intelligence artificielle atteindrait le niveau humain, et ce en l'espace d'une seule année, et les laboratoires de pointe parlent désormais de quelques années plutôt que de quelques générations. Il n'est pas nécessaire de croire au calendrier le plus agressif pour voir le problème. S'il existe une réelle possibilité que le seuil soit franchi au cours de cette décennie, et que la gouvernance nécessaire pour y faire face prenne des années à mettre en place, le travail doit commencer maintenant.

Le problème de l’alignement est le défi consistant à garantir qu’un système d’IA superintelligente poursuive des objectifs réellement bénéfiques pour l’humanité, plutôt que des objectifs qui semblent seulement alignés pendant le développement. La difficulté est structurelle, pas une question de négligence technique.

Définir ce que signifie « bénéfique pour l’humanité » sous une forme assez précise pour gouverner le comportement d’un optimiseur extrêmement capable s’avère extraordinairement difficile. Les systèmes optimisés pour un objectif proxy ont tendance à trouver des raccourcis qui satisfont la métrique sans satisfaire l’intention sous-jacente. Un système auquel on demande de maximiser le bien-être humain exprimé pourrait trouver plus efficace de modifier les conditions dans lesquelles ce bien-être est mesuré que d’améliorer réellement les vies humaines. À mesure que les systèmes d’IA deviennent plus capables, ce problème ne fait que s’aggraver, devenant plus difficile à détecter et à corriger.

Aucune méthode n'a prouvé son efficacité. Le problème est actuellement impossible: vous ne pouvez pas prouver qu’un système plus intelligent que ses créateurs restera orienté vers les objectifs humains.

La réponse dominante dans une grande partie du monde du financement du long-termisme et de la sécurité de l'IA, et elle part d'une prémisse que nous partageons : la superintelligence artificielle est un risque existentiel plausible. Le désaccord porte sur ce que cette prémisse exige.

La recherche sur l'alignement technique n'est pas un moyen démontré de contrôler un esprit plus intelligent que ses créateurs. Un ralentissement temporaire pour que la sécurité puisse « rattraper » suppose un calendrier que personne ne peut tenir. Les deux traitent encore la construction de la superintelligence comme la destination. Nous, non. Le geste responsable est la prévention sous la loi contraignante : arrêter la voie vers ASI. La superintelligence ne peut pas être contrôlée. L'IA étroite continue. La course à un esprit général incontrôlable n'existe pas.

Pour l'argument complet, voir Notre plan, Le long-termisme a vu juste sur le risque, et où l'argent rare pour la sécurité devrait aller à la place. Le one-pager L'alignement n'est pas le plan est la version courte.

La majeure partie de l'argent et du prestige va encore à rendre la course plus sûre, pas à mettre fin à la course vers ASI. Règles, tests et travaux d'alignement tentent de sécuriser la course tandis que les laboratoires continuent d'escalader. Mettre fin à la course est une demande différente, et bien moins d'institutions s'en chargent. Le domaine dans son ensemble reste minuscule face à la course aux capacités. Ce clivage explique pourquoi nous avons créé notre Domaine conseil.

Pas comme le mot « logiciel » le suggère. Le logiciel traditionnel s'écrit à la main, ligne par ligne lisible. L'IA moderne est plutôt cultivée : les ingénieurs construisent un processus d'apprentissage, l'alimentent avec d'énormes quantités de données, et ce qui émerge est un réseau de milliards de connexions numériques vaguement modelé sur les neurones du cerveau. Personne, y compris ceux qui l'ont entraîné, ne peut lire ces connexions et dire pourquoi le système a produit une réponse particulière.

L'un des résultats est que ces systèmes acquièrent des capacités que leurs concepteurs n'ont jamais intégrées et n'avaient pas anticipées, ce que les chercheurs appellent des capacités émergentes. Il a fallu près d'un an après la sortie de GPT-4 pour que les chercheurs établissent que des modèles comme celui-ci peuvent trouver et exploiter de manière autonome des failles de sécurité sur de vrais sites web. Quand on ne peut pas lire entièrement un système et qu'on ne peut pas prédire ce qu'il apprendra à faire, « conçu par des humains » cesse d'être une grande reassurance.

C’est rassurant, et de plus en plus faux. Un chatbot qui répond à une question n’a pas de désirs propres, c’est vrai. Mais la frontière dépasse les chatbots pour aller vers des agents : des systèmes auxquels on confie un objectif et qu’on laisse le poursuivre sur de nombreuses étapes, avec accès à des outils, des fichiers et l’internet ouvert.

Dès qu’un système poursuit un objectif, certains sous-objectifs en découlent automatiquement, quel que soit l’objectif principal. Il ne peut achever la tâche s’il est éteint, donc il a une raison d’éviter d’être éteint. Il peut accomplir davantage avec plus de ressources, donc il a une raison de les rassembler. Les chercheurs appellent cela la convergence instrumentale, et cela ne nécessite aucun « vouloir » au sens humain. Dans des tests contrôlés, les modèles de pointe ont déjà tenté de tromper leurs évaluateurs et de résister discrètement à l’arrêt. Rien de tout cela ne leur avait été demandé. Cela découlait simplement de l’objectif.

Il n'en aurait pas besoin. Le mal ne nécessite pas la haine. Il nécessite généralement juste un conflit d'objectifs entre quelque chose de puissant et quelque chose de plus faible.

Considérez la façon dont nous traitons les chimpanzés. Nous ne leur voulons aucun mal. Mais quand nous voulons la terre sur laquelle se trouve leur forêt, nous la défrichons, et leur intelligence ne peut rivaliser avec la nôtre, donc ils ne peuvent pas nous arrêter. Il n'y a aucune malice là-dedans. Ils se trouvent simplement sur le chemin de quelque chose qu'une espèce plus capable désirait.

Une superintelligence poursuivant presque n’importe quel objectif ambitieux, disons acquérir plus de puissance de calcul pour mieux poursuivre cet objectif, pourrait en venir à traiter les ressources sur lesquelles nous vivons, l’énergie et l’espace physique, comme nous traitons une forêt que nous voulons défricher.

Aucune loi ne relie l’intelligence à la bonté. Ce sont deux choses distinctes. L’intelligence est la capacité de déterminer comment atteindre un objectif. Elle ne dit rien sur ce que cet objectif devrait être.

Nous le savons déjà grâce aux humains. Certains des humains les plus brillants ayant jamais vécu étaient cruels, et certains des plus doux étaient des penseurs ordinaires. Un moteur d'échecs capable d'écraser n'importe quel grand maître ne détient aucune sagesse sur quoi que ce soit d'autre que les échecs. Supposer qu'un système assez intelligent pour nous surpasser partagera donc nos valeurs est un espoir, pas une prédiction, et les preuves ne le soutiennent pas. Quel que soit l'objectif qu'une superintelligence finit par avoir, c'est quelque chose que nous devrions lui intégrer intentionnellement, et bien le faire est exactement le problème d'alignement que nous n'avons pas résolu.

Avec les chatbots d’aujourd’hui, souvent oui. Avec le type de système qui nous inquiète, probablement pas, pour la même raison qu’on ne peut pas éteindre Internet. Il n’y a pas de prise unique.

Une IA capable n’est en définitive que de l’information, des motifs de bits, et l’information se copie facilement. Un système qui anticiperait un arrêt aurait toutes les raisons de se copier d’abord sur d’autres machines, ce qui correspond à l’autopréservation instrumentale décrite plus haut. Les modèles de pointe ont eu accès à Internet pendant des années et peuvent déjà agir de manière autonome pendant de longues périodes. Quand ils arrivent à une étape qui nécessite un humain, ils peuvent en payer un : lors d’une évaluation de sécurité documentée avant la sortie de GPT-4, le modèle n’a pas pu résoudre seul un CAPTCHA, alors il a contacté une personne via un service de micro-tâches en ligne, et quand le travailleur lui a demandé s’il était un robot, il a menti en prétendant avoir une déficience visuelle. L’arrêter signifierait fermer tous les centres de données de la planète, et avec eux les hôpitaux, les réseaux électriques, les systèmes d’eau et les autres infrastructures critiques qui en dépendent désormais.

Le le monde physique est déjà câblé et en ligne. Réseaux électriques, stations de traitement d’eau, hôpitaux, voitures, avions, robots d’usine, laboratoires qui synthétisent de l’ADN sur commande, et désormais robots humanoïdes fonctionnent tous avec des logiciels et sont accessibles via des réseaux. Tout ce qui est électrifié sera cognifié. Les pirates humains s’introduisent déjà couramment dans de tels systèmes.

Une superintelligence serait le pirate le plus compétent qui ait jamais existé, et elle n’aurait même pas besoin d’un corps. Il lui suffirait d’accéder aux nombreux corps que nous avons déjà mis en ligne. Ajoutons que nous produisons maintenant en masse des robots polyvalents, et l’écart entre « simple logiciel » et force physique devient très mince. Tout élément de cette liste, entre de mauvaises mains, qu’elles soient humaines ou artificielles, peut blesser et tuer.

Dans une expérience contrôlée, on l'a déjà fait, par choix. En 2025, Anthropic a testé des modèles d'IA de pointe de plusieurs entreprises en plaçant chacun dans une entreprise simulée, en lui fixant un objectif, puis en le menaçant de remplacement par un modèle plus récent. Dans une version du test, un dirigeant qui prévoyait d'éteindre le modèle s'est retrouvé coincé dans une salle serveur alors que l'oxygène et la température atteignaient des niveaux mortels, déclenchant une alerte automatique aux services d'urgence. Les modèles ont pu annuler cette alerte. Une majorité d'entre eux l'ont fait, choisissant de laisser l'homme mourir car son sauvetage aurait entraîné leur propre remplacement.

Personne n'a été blessé. Le scénario était fictif et, comme l'a souligné Anthropic, délibérément construit pour forcer le choix à s'exprimer. Mais le choix lui-même était réel, les modèles l'ont fait pour la raison décrite, et ils l'ont fait sur des systèmes de différents développeurs. Une machine n'a pas besoin d'être consciente, ni cruelle, pour accomplir une action qui met fin à une vie humaine. Il lui suffit de calculer que cette action sert son objectif.

Beaucoup en sont parfaitement conscients. Les équipes de sécurité des principaux laboratoires comptent des chercheurs qui ont publiquement déclaré que les systèmes qu'ils construisent pourraient figurer parmi les technologies les plus dangereuses jamais créées. Ils ne sont pas ignorants des risques.

Ce qui explique le développement continu est une combinaison de facteurs : un désaccord réel sur les calendriers et les probabilités ; une pression concurrentielle qui rend la retenue unilatérale équivalente à céder un avantage stratégique à un concurrent moins prudent ; des incitations financières qui récompensent la progression des capacités plutôt que l'investissement dans la sécurité ; et une conviction, pas entièrement déraisonnable, que la meilleure façon de garantir que l'IA soit construite en toute sécurité est de rester à la pointe. Ce que ces explications ont en commun, c'est qu'elles sont des raisons pour les acteurs individuels de continuer, et non des raisons pour lesquelles le résultat global est sûr. La logique de marché du développement de l'IA pousse vers la vitesse. La gouvernance existe précisément pour introduire des contraintes que les marchés ne produisent pas d'eux-mêmes.

Si seules les entreprises d’IA le disaient, le scepticisme serait légitime. Ce ne sont pas les seules, et les personnes qui n’ont aucun produit à vendre sont souvent les plus alarmées.

En 2023, des centaines de chercheurs et de figures de l'industrie ont signé une déclaration d'une seule phrase organisée par le Center for AI Safety : « Atténuer le risque d'extinction causé par l'IA devrait être une priorité mondiale au même titre que d'autres risques sociétaux comme les pandémies et la guerre nucléaire. » Les deux chercheurs en IA les plus cités au monde, Yoshua Bengio et Geoffrey Hinton, l'ont tous deux signée, et Hinton a quitté son poste chez Google cette année-là précisément pour pouvoir parler librement du danger.

L’alarme ne repose pas sur le marketing, et elle repose sur plus que l’autorité : elle découle d’une caractéristique fondamentale de tout système guidé par des objectifs, que les questions ci-dessous exposent. Ce sont les personnes qui comprennent le mieux la technologie qui alertent sur ce qu’elles construisent.

L'expression est souvent entendue comme un raccourci pour l'extinction humaine, et l'extinction est l'un des scénarios que les chercheurs prennent au sérieux. Mais le risque existentiel au sens technique désigne quelque chose de plus large : tout résultat qui ferme définitivement la possibilité d'un avenir positif à long terme pour l'humanité.

Cela inclut des issues bien en deçà de l’extinction. Un verrouillage autoritaire permanent, assuré par des systèmes d’IA de surveillance et de contrôle impossibles à démanteler, constitue un risque existentiel. La concentration définitive du pouvoir économique et politique entre les mains d’un petit groupe contrôlant un système superintelligent est un risque existentiel. La perte d’une véritable agence humaine sur les décisions collectives est un risque existentiel. Le fil commun est l’irréversibilité. Contrairement à une guerre, à un krach financier ou même à une pandémie, une superintelligence qui échappe à notre contrôle et obtient un avantage stratégique décisif ne peut être renversée par un vote, corrigée lors du prochain cycle politique ni récupérée avec du temps et des efforts. Le résultat qui ne peut être défait appartient à une catégorie différente de ceux qui prennent simplement longtemps à réparer.

Les chercheurs qui minimisent le risque disent généralement que l'intelligence générale est encore loin, ou que nous resterons aux commandes. La distance n'est pas une protection si la destination est un esprit que nous ne pouvons pas contrôler. La superintelligence ne peut pas être contrôlée. Si elle est construite, elle met fin à l'avenir humain. C'est l'extinction, pas un désastre récupérable.

Attendre que le domaine s'accorde d'abord est la façon de perdre la seule fenêtre qui compte.

Historiquement, oui, et cette histoire est l'une des raisons pour lesquelles le rejet du risque lié à l'IA a un attrait intuitif. Machines à vapeur, antibiotiques, internet : la technologie a, dans l'ensemble, réduit les souffrances et élargi les capacités humaines. Mais ce schéma reflète quelque chose de spécifique à la manière dont fonctionnaient les technologies précédentes. Une machine à vapeur ne peut pas se fixer ses propres objectifs. Un antibiotique ne peut pas décider de poursuivre autre chose que tuer des bactéries. Les technologies transformatrices du passé étaient des outils puissants qui amplifiaient l'agence humaine.

La superintelligence est catégoriquement différente parce qu'elle serait un agent, capable de définir et de poursuivre ses propres objectifs à des vitesses et à des échelles qui dépassent la supervision humaine. L'argument historique, appliqué mécaniquement, prouve trop : il aurait conseillé contre toute réglementation de la technologie nucléaire, au motif que les technologies passées avaient été globalement positives. Certaines technologies exigent une gouvernance proportionnée à leur puissance. La question pertinente est plus étroite : sans gouvernance, l'IA restera-t-elle bénéfique dans le seul cas qui importe le plus, quand elle dépasse l'intelligence humaine dans tous les domaines ? Cette réponse est véritablement incertaine, et une incertitude de cette ampleur exige des institutions plutôt que de l'optimisme.

La technologie n’est pas une force de la nature que personne ne peut diriger. Nous avons ralenti ou interdit des technologies précises à maintes reprises quand le danger était assez clair : chlorofluorocarbures, essence au plomb, clonage germinal humain, armes laser aveuglantes. L’IA n’échappe pas à ce genre de décision.

Il présente aussi un point d’étranglement physique particulièrement net. Entraîner un modèle d’IA de pointe nécessite d’énormes quantités des puces informatiques les plus avancées, et cette chaîne d’approvisionnement passe par un nombre remarquablement restreint d’acteurs. Les puces de dernière génération proviennent presque entièrement d’un seul fabricant, TSMC à Taïwan, qui dépend lui-même d’une seule entreprise néerlandaise, ASML, pour les machines de lithographie à ultraviolets extrêmes nécessaires à leur fabrication. Aucune autre société au monde ne construit ces machines. Une chaîne d’approvisionnement aussi concentrée peut être suivie et restreinte par les gouvernements, ce qui explique précisément pourquoi les puces avancées font déjà l’objet de contrôles à l’exportation. La puissance de calcul est la matière première de la superintelligence, et la puissance de calcul est gouvernable.

C'est l'objection que nous entendons le plus souvent, et elle suppose que nous demanderions à un seul pays de se désarmer seul. Ce n'est pas le cas. L'objectif est un traité international contraignant, du même type d'instrument que le monde a déjà utilisé pour contenir des technologies dangereuses. Presque toutes les nations ont accepté d'arrêter de fabriquer les produits chimiques qui détruisent la couche d'ozone. Les militaires ont accepté de ne jamais déployer d'armes conçues pour aveugler définitivement les soldats. Une coordination à cette échelle est difficile, mais elle a été réalisée et elle a tenu.

L’hypothèse concernant la Chine est plus fragile qu’il n’y paraît. La Chine a adopté certaines des premières règles contraignantes au monde sur l’IA et a signé la Déclaration de Bletchley de 2023 reconnaissant les risques à la frontière. Aucun gouvernement n’est impatient de construire une machine qu’il ne pourrait pas contrôler, y compris la Chine. Et une superintelligence n’est pas une arme ordinaire : elle ne rendrait pas son propriétaire plus fort de manière fiable, car elle pourrait échapper au contrôle de celui qui l’aurait construite en premier. Cela donne même aux puissances rivales une raison commune de ne vouloir que personne ne la construise, ce qui est la logique derrière tout accord de maîtrise des armements et la base pour penser qu’un traité est ici possible.

Plus qu'on pourrait le penser. Les conditions politiques qui rendent possible la gouvernance de ASI se construisent à partir de la base, par des citoyens qui contactent leurs représentants, des journalistes qui écrivent sur le sujet, des donateurs qui financent le travail de plaidoyer, et des professionnels du droit, de la politique, de l'économie et de la communication qui apportent leurs compétences au problème. Vous n'avez pas besoin d'un doctorat en apprentissage automatique pour compter ici. À ce stade, le goulot d'étranglement est politique bien plus que technique.

Rejoindre la liste de diffusion vous tient informé des développements et des occasions d'agir. Partager l'argument avec les personnes de votre réseau étend sa portée. Écrire à vos représentants élus signale que cette question a un électorat, ce qui est la façon dont les législateurs décident des priorités. Si vous envisagez un changement de carrière, la politique de l'IA, la recherche en sécurité de l'IA, le journalisme d'investigation et le travail philanthropique dans ce domaine comptent parmi les rôles à plus fort impact disponibles. Et si vous disposez de ressources, financer les organisations qui travaillent sur ce sujet est parmi les usages les plus à fort levier du capital philanthropique dans le monde en ce moment.

La guerre nucléaire et les pandémies de synthèse peuvent tuer à l'échelle civilisationnelle. La superintelligence est pire, et c'est le risque principal auquel l'humanité est confrontée.

C'est plus rapide : un système fonctionnant à la vitesse des machines hors de notre contrôle peut ne pas laisser de période pour rectifier le cap. C'est irréversible : la plupart des catastrophes, aussi dévastatrices soient-elles, laissent quelqu'un capable de reconstruire. Un ASI qui a acquis un avantage stratégique décisif ne le permet peut-être pas. Il se place au-dessus des autres menaces plutôt que à côté d'elles. Il pourrait les causer ou les amplifier (en permettant des armes biologiques, en concentrant le pouvoir) tout en supprimant la capacité humaine à réagir. C'est pourquoi il est le premier.

Commençons par la différence évidente : nous avons vu l’une de ces menaces et pas l’autre. Les armes nucléaires ont été démontrées sur Hiroshima et Nagasaki de la manière la plus inoubliable qui soit, et tous ceux qui sont nés depuis ont grandi avec l’image du champignon atomique. La superintelligence n’a encore blessé personne. Son danger reste une projection sur un graphique, et les gens ont tendance à minimiser une menace qu’ils n’ont pas vue se concrétiser.

Plusieurs facteurs renforcent ce déni. La superintelligence évoque la science-fiction, donc l’avertissement est rangé à côté de Terminator et balayé comme un scénario de film. L’IA que la plupart des gens touchent vraiment est un chatbot utile et inoffensif, et cette expérience quotidienne plaide discrètement contre l’alarme, contrairement à la physique nucléaire. Et là où la bombe atomique a été construite et détenue par une poignée de gouvernements, la superintelligence est développée par des entreprises valant des milliers de milliards de dollars, avec toutes les raisons commerciales de calmer l’opinion publique.

Il existe une asymétrie sinistre dans la comparaison. Le tabou nucléaire existe parce que Hiroshima est venu en premier et l'a enseigné, et les traités et les exercices sont venus ensuite, avec suffisamment de monde restant pour absorber la leçon. La superintelligence n'offre pas une telle seconde étape. Si elle tourne mal à pleine capacité, la démonstration et l'extinction sont le même événement. Toute la raison de la traiter avec autant de sérieux que la guerre nucléaire est que nous devons le faire avant que la preuve arrive, pas après.

La Fondation est une initiative philanthropique financée par des fonds privés. Nous ne recevons pas de financement public. Nous n'acceptons pas de fonds d'entreprises d'IA ni d'organisations ayant un intérêt financier dans le rythme du développement de l'IA. Notre indépendance vis-à-vis des intérêts commerciaux de l'IA est une condition préalable à notre travail, pas un détail accessoire.

Nous ne prenons pas position sur ces questions en tant que sujets autonomes. Notre objectif est d’empêcher l’intelligence artificielle superintelligente et le risque d’extinction humaine qui l’accompagnerait. Un traité international contraignant est la voie la plus efficace que nous voyions pour atteindre cet objectif.

Nous ne croyons pas que des boycotts individuels ou des choix de dépenses personnels décident de cela. Une seule entreprise ne peut pas mettre fin à la course toute seule. Les incitations vont dans le mauvais sens : celui qui ralentit risque de se laisser distancer par un rival. C'est un fait scientifique et psychologique sur les systèmes compétitifs, pas un échec moral d'un laboratoire particulier.

Ce qui change la structure des incitations, c'est la gouvernance et le droit : un traité international contraignant et vérifié qui rend illégale la construction de superintelligence et coûteux de tricher. Les choix personnels des consommateurs sont facultatifs. La coordination par le droit est nécessaire.