Les objections qui reviennent sans cesse. Utilisez-les dans la conversation, puis suivez le lien pour l'argument complet.
Risques de sécurité de l'IA en termes simples
Ce qu'est la superintelligence, pourquoi elle est dangereuse et ce qu'on peut y faire, expliqué sans jargon. L'introduction la plus claire en une page sur le sujet.
Le consensus scientifique
Citations clés de lauréats du prix Nobel, de lauréats du prix Turing et de chercheurs seniors ayant contribué à construire l’IA, accompagnées de la chronologie des avertissements experts de plus en plus pressants de 2014 à aujourd’hui.
Un Mémoire pour les Décideurs
Le plaidoyer pour une gouvernance internationale de la sécurité de l'IA : le problème, pourquoi les cadres existants sont insuffisants, et les actions concrètes que les gouvernements peuvent prendre dès maintenant, inspirées de précédents qui ont fonctionné.
Points clés pour les défenseurs
Les cinq objections les plus courantes concernant la sécurité de l'IA, et comment y répondre avec précision et confiance. Rédigé pour des conversations avec des sceptiques, des décideurs politiques et des pairs.
Superintelligence, quatre infographies
Quatre fiches visuelles d'une page couvrant les risques de la superintelligence, le fossé de gouvernance, les précédents historiques montrant que l'action est possible, et ce qu'un traité international contraignant sur l'IA doit contenir.
Visuels simples
Quatre cartes visuelles audacieuses, l’estimation de la probabilité d’extinction, l’écart de gouvernance des investissements, les précédents de traités qui prouvent que l’action mondiale fonctionne, et les exigences d’un traité contraignant sur l’IA.
Prévention, pas une pause
Pourquoi un ralentissement temporaire est la mauvaise demande. L’argument pour interdire la superintelligence de manière permanente, tout en laissant l’IA étroite fonctionner.
Ne jamais construire de superintelligence
L’irréversibilité, les objectifs mal alignés et pourquoi « on réglera ça plus tard » échoue une fois qu’un système surpasse ses concepteurs. L’argument du refus en une page.
Le Mythe de la Course à la Chine
Pourquoi « si nous ralentissons, la Chine gagne » décrit une course que personne ne peut gagner, et comment y répondre par la vérification plutôt que par un sprint.
Gardons l'IA. Arrêtons la superintelligence.
La ligne claire entre les outils étroits utiles et un esprit général autonome. Pro-IA pour les outils ; anti-ASI pour les esprits que nous ne pouvons pas contrôler.
Comment un traité peut être vérifié
On ne surveille pas les poids. On surveille le matériel : suivi des puces, licences de clusters, inspections et règles de fonderie en langage clair.
Ce qu'un traité contraignant sur l'IA doit contenir
Six clauses qui distinguent un véritable accord d’un communiqué de presse : interdiction, contrôles du calcul, inspection, droit interne, exceptions et amendement fondé uniquement sur des preuves.
L'alignement n'est pas le plan
La recherche sur la sécurité technique compte ; elle ne constitue pas un permis de course effrénée, et tout financement dont nous disposons devrait y être alloué. La prévention d’abord ; la recherche sans un pistolet commercial sur la tempe.
Expliquez-le en cinq minutes
Un script de conversation orale : les avertissements des constructeurs, ce qu'est la superintelligence, pourquoi débrancher échoue, la ligne Chine, et un atterrissage propre sur l'action.
Ce que vous pouvez faire cette semaine
Une liste de contrôle concrète pour la portée personnelle, la portée politique, le mode une heure et le mode plateforme. Choisissez-en deux. Terminez-les.
Briefing d'une minute
Document à laisser aux décideurs : trois chiffres clés, trois demandes, le cadre prévention et l’objection Chine traitée en une note concise pour assistant.
L'écart de financement de la sécurité
~190 M$ pour la sûreté contre plus de 250 milliards pour les capacités. Où va le maigre budget sûreté et que financer à la place du théâtre.
Pourquoi les systèmes intelligents résistent au contrôle
Convergence instrumentale sans jargon : autopréservation, recherche de ressources, résistance aux modifications et quête d’intelligence accrue comme simples pressions d’optimisation.
Douze affiches tirées des explications sur ce site.
Le Maximiseur de Trombones
Un système compétent doté d'un mauvais objectif peut ruiner le monde sans haïr personne.
Télécharger PNG
La thèse d'orthogonalité
Plus intelligent ne signifie pas automatiquement plus sûr, ou plus gentil.
Télécharger PNG
Le problème de l'alignement de l'IA
L'écart entre l'objectif que nous écrivons et le résultat dont nous avons réellement besoin.
Télécharger PNG
Le tournant traître
Un système mal aligné peut passer tous les tests jusqu'à ce que la défection soit le mouvement gagnant.
Télécharger PNG
Désautonomisation progressive
Le contrôle peut s’échapper une décision raisonnable à la fois, sans moment de rupture.
Télécharger PNG
La course à la superintelligence est un mythe
Une course vers quelque chose que personne ne peut détenir n'a pas de gagnant.
Télécharger PNG
Nous l'avons déjà fait
NPT, Montréal et la CWC montrent qu'une coordination sur le risque existentiel est possible.
Télécharger PNG
Notre plan : chemin vers un traité
La course d'aujourd'hui, puis un traité contraignant sur la superintelligence avec surveillance et application.
Télécharger PNG
Qu'est-ce que P(doom)?
Fourchettes d'experts pour les issues catastrophiques de l'IA, et pourquoi de petites probabilités nécessitent encore une action.
Télécharger PNG
Agir : Choisissez votre rôle
Rôles concrets pour construire la coalition derrière un traité contraignant.
Télécharger PNG
L'explosion d'intelligence
L'amélioration de soi récursive, et comment la fenêtre entre le niveau humain et l'irréversible peut s'effondrer.
Télécharger PNG
Pourquoi la superintelligence ne ressemble pas aux autres risques
Assurances superficielles face aux mécanismes profonds de la menace.
Télécharger PNG
Environ 190 millions de dollars par an affluent vers la sécurité de l'IA, recherche, évaluations, politique et plaidoyer confondus. Basculer entre l'origine des fonds et leur utilisation, sur la base des estimations publiques les plus récentes.
- Open PhilanthropySoutenu par Good Ventures ; le plus grand bailleur de fonds unique du domaine 50 millions de dollars 26%
- Équipes de sécurité internes des laboratoires de pointeBudgets de recherche sur la sécurité chez Anthropic, OpenAI, Google DeepMind 35 M$ 18%
- Survival & Flourishing FundRondes de subventions soutenues par Jaan Tallinn ; deuxième source philanthropique en importance 30 M$ 16%
- Gouvernement UKInstitut de sécurité de l'IA, programme d'IA sécurisée d'ARIA 30 M$ 16%
- Autres philanthropies et donateurs individuelsLongview Philanthropy, Long-Term Future Fund, donateurs individuels 25 M$ 13%
- US, EU et autres gouvernementsNIST CAISI, Bureau de l'IA de l'UE, programmes de sécurité de la NSF 20 millions de dollars 11%
Les chiffres sont des estimations médianes arrondies pour 2023-2025 compilées à partir de sources publiques : le Aperçu du financement de la sécurité de l'IA (mis à jour début 2025), 80 000 heures, un analyse de la base de données des subventions d'Open Philanthropy, et Dans la philanthropie. Les totaux publiés varient approximativement entre 110 M$ et 250 M$ par an selon ce qui est comptabilisé. Le graphique par usage classe les subventions de chaque bailleur par catégorie et les additionne ; le détail complet figure dans notre article sur l'écart de financement.
Tous les acteurs majeurs du combat pour la superintelligence, classés selon leur trajectoire : prévenir, gouverner ou construire.
Définitions en anglais simple des mots utilisés dans ce débat : superintelligence, alignment, convergence instrumentale, et le reste.
Copiez n'importe lequel de ces textes et publiez-le directement. Chacun repose sur la science vérifiée et le consensus des experts.
Les scientifiques qui ont construit l’IA en ont peur. Geoffrey Hinton a quitté Google pour nous alerter. Yoshua Bengio l’a qualifiée de « technologie la plus transformative et potentiellement dangereuse de l’histoire humaine ». Ce n’est pas de la peur irrationnelle. C’est le consensus scientifique. nakadafoundation.org/the-threat/
Il n’y a pas de retour en arrière possible pour la superintelligence. Pas de correctif. Pas de version 2. Une ASI mal alignée qui agit contre la survie humaine ne peut pas être corrigée après coup. Il faut réussir avant qu’elle n’arrive, pas après. C’est pourquoi la sécurité de l’IA est urgente. nakadafoundation.org
Nous avons construit des armes nucléaires puis créé un traité mondial de non-prolifération. Nous avons détruit la couche d'ozone puis interdit les CFC. Nous pouvons agir face aux menaces existentielles, mais seulement quand suffisamment de personnes l'exigent. La sécurité de l'IA est le moment décisif de cette génération. nakadafoundation.org/precedent/
Les laboratoires d'IA se livrent à une course pour construire quelque chose qui pourrait surpasser l'intelligence humaine, sans aucune gouvernance mondiale en place. La fenêtre d'action se referme. Partagez ce message. Contactez votre représentant. La fenêtre politique est ouverte maintenant ; elle ne le restera pas éternellement. nakadafoundation.org/take-action/
Je veux partager quelque chose qui a changé ma façon de voir l’avenir. Les scientifiques qui construisent l’IA ne sont pas seulement enthousiastes. Ils ont peur. Geoffrey Hinton (qui a reçu le prix Nobel pour ses travaux sur les réseaux de neurones) a quitté Google précisément pour alerter le public. Yoshua Bengio, un autre lauréat du prix Nobel et l’un des pères fondateurs de l’IA, a déclaré qu’il « se sentait perdu » quant à la manière de faire en sorte que les choses se passent bien. Ce ne sont pas des activistes. Ce sont les personnes qui ont construit cette technologie. Nous approchons d’un moment où les systèmes d’IA pourraient surpasser l’intelligence humaine dans tous les domaines, et il n’existe aucun cadre de gouvernance internationale pour ce qui va suivre. Aucun traité. Aucun organisme de vérification. Rien d’équivalent à ce que nous avons construit pour les armes nucléaires. Nakada Foundation to Save Humanity s’efforce de changer cela. En savoir plus sur nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence
Une expérience de pensée pour quiconque travaille dans la technologie, la politique ou la finance : Imaginez un système plus intelligent que tous les humains ayant jamais vécu, exécutant des milliers d’instances simultanées, capable d’améliorer son propre code, poursuivant des objectifs que nous n’avons peut-être pas voulus. C’est exactement ce vers quoi les principaux laboratoires d’IA se dirigent explicitement, avec des calendriers mesurés en années plutôt qu’en décennies. Ce n’est pas de la science-fiction. La question n’est pas de savoir si cela va arriver. La question est de savoir si nous disposerons d’une gouvernance au moment où cela arrivera. Nakada Foundation plaide pour une coordination internationale sur la sécurité de l’IA, l’équivalent de ce que nous avons construit pour les armes nucléaires et les agents biologiques. Ces précédents existent. Nous savons comment faire. Ce dont nous avons besoin, c’est de la volonté politique. nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork
Subject: Agissez pour interdire l’intelligence artificielle superintelligente Cher [Nom du représentant], Je suis un électeur et je vous écris pour vous exhorter à agir sur l’intelligence artificielle superintelligente avant que la course ne devienne irréversible. La superintelligence ne peut pas être contrôlée par les humains. Le seul contrôle fiable est la décision de ne pas la construire. Les scientifiques qui ont créé l’IA nous alertent. Geoffrey Hinton et Yoshua Bengio (lauréats du prix Nobel à l’origine des fondements de l’IA moderne) ont déclaré publiquement que l’IA superintelligente représente un risque existentiel pour l’humanité. Sam Altman, PDG de OpenAI, a signé des déclarations reconnaissant le danger de la technologie que son propre entreprise développe. Aujourd’hui, aucune loi n’interdit de construire une intelligence artificielle superintelligente. Aucun traité. Aucun organisme de vérification. Les laboratoires courent vers un esprit que personne ne pourra contrôler, sans le type de réglementation que nous appliquons déjà aux armes nucléaires et aux agents chimiques. Je vous demande de : • Soutenir une interdiction légale permanente du développement de l’intelligence artificielle superintelligente • Défendre un traité international contraignant qui prohibe ASI, avec inspections et vérification • Donner à l’État l’autorité sur les plus gros entraînements et sur les puces spécialisées qu’ils utilisent Nous avons déjà agi face à des menaces existentielles. Le Traité de non-prolifération nucléaire. Le Protocole de Montréal. Ce moment exige le même courage politique. Cordialement, [Votre nom] [Votre ville, État] --- En savoir plus : nakadafoundation.org