NOTRE PLAN

Traité de sécurité de l'IA et plan de politique de gouvernance, Le changement vient de la loi,
pas des laboratoires.

La communauté technique a passé une décennie à avertir. Les avertissements n'ont pas ralenti les labs. Ce qui manque maintenant, c'est la volonté politique, les cadres juridiques et une coalition assez forte pour arrêter la course vers des systèmes que personne ne peut contrôler.

LE CAS POUR L'ACTION

Pourquoi nous existons.

Nakada Foundation to Save Humanity a été établi sur une seule prémisse : que les décisions les plus importantes de l'histoire humaine, décisions qui détermineront si notre espèce survit, ne doivent pas être prises par une poignée d'ingénieurs dans cinq entreprises d'un seul pays.

Nous ne sommes pas alignés avec l’establishment de la sécurité de l’IA, largement financé par les mêmes laboratoires qui se précipitent pour construire les systèmes qu’il étudie. Nous pensons que la structure d’incitation du domaine de la sécurité de l’IA est fondamentalement compromise et que la solution ne viendra pas de l’intérieur de l’industrie.

La majeure partie de l’argent et du prestige va encore à rendre la course plus sûre, pas à l’arrêter avant ASI. Notre travail est l’autre tâche : stopper ASI sous le coup de la loi contraignante. La superintelligence ne peut pas être contrôlée.

L'IA étroite est transformatrice et bénéfique. Elle peut guérir des maladies, accélérer la découverte et élargir le potentiel humain. Nous ne sommes pas contre l'IA. Nous sommes contre la construction d'une forme d'intelligence que nous ne pouvons ni contrôler, ni aligner, ni arrêter.

Le changement exige une pression extérieure : des gouvernements, du droit, de la culture et de personnes qui comprennent que ce qui est en jeu n'est pas un résultat de marché, mais la survie de l'espèce humaine.

Nous avons un modèle pour cela : le Traité sur la non-prolifération nucléaire.

EN QUOI NOUS DIFFÉRONS

Pas un laboratoire de recherche

Contrairement aux organisations de recherche en sécurité de l'IA, nous ne construisons, n'entraînons ni n'expérimentons sur des systèmes d'IA. Nous n'acceptons pas de financements qui créeraient un conflit entre notre mission et notre message.

Pas un organe éthique

Contrairement aux organisations d’éthique de l’IA, nous nous concentrons exclusivement sur le risque existentiel : pas les biais, l’équité ou le mésusage de l’IA actuelle. Ce sont des questions importantes. Elles ne sont pas le même problème que l’extinction.

Une campagne

Nous fonctionnons comme une campagne philanthropique d'éducation du public, pas comme un institut académique. Nous cherchons à faire évoluer la compréhension du public, à bâtir des coalitions et à rendre possible une prévention contraignante de la superintelligence, comme l'ont fait tous les mouvements d'intérêt public réussis de l'histoire.

NOTRE POSITION

Prévention, pas une pause temporaire.

On nous range souvent sous « pause » : quelques années de répit pour que les laboratoires rendent la superintelligence sûre puis reprennent. Ce n'est pas la demande. Nous voulons que les gouvernements empêchent définitivement la superintelligence artificielle. La superintelligence ne peut pas être contrôlée par les humains.

La différence est essentielle. Une pause suppose un problème de calendrier : ralentir, laisser la sécurité rattraper, puis repartir. Personne n'a de méthode validée pour contrôler un système plus capable que ses créateurs. Pas à petite échelle. Pas à grande. Aucune méthode éprouvée. Ceux qui se précipitent pour la construire le disent publiquement.

Si cela reste vrai, alors construire une superintelligence avec des méthodes proches de celles d'aujourd'hui ne produit pas une technologie risquée à gérer avec soin. Cela produit un résultat dont on ne revient pas. C'est l'argument le plus direct dans le livre de 2025 Si quelqu'un le construit, tout le monde meurt, par Eliezer Yudkowsky et Nate Soares. Inutile d’accepter chaque affirmation pour voir l’asymétrie : nous n’aurions qu’une seule tentative, et personne ne peut vous dire comment la réussir.

Donc le traité que nous préconisons est pas une façon de rendre le développement de la superintelligence sûr. Il n’existe aucune méthode connue pour y parvenir. Le traité est la sortie de route de la course : une décision permanente de ne pas prendre ce pari. La superintelligence ne peut pas être contrôlée par les humains.

C'est pourquoi nous nous séparons d'une grande partie du domaine de la sécurité de l'IA. Une grande partie de le travail de « sécurité » suppose discrètement que les systèmes seront construits et cherche seulement à réduire les chances qu'elle nous tue. Nous pensons que cela inverse le problème. Quand on ne peut pas maîtriser le risque, et l'inconvénient, c'est que tout le monde, la démarche responsable consiste à arrêter de construire la chose dangereuse. La superintelligence ne peut pas être contrôlée, donc la réponse n'est pas de construire plus prudemment. L'IA étroite (celle qui guérit des maladies et accélère la découverte) continue. C'est la catégorie étroite des systèmes qui dépasseraient l'intelligence humaine dans tous les domaines qu'il ne faut pas construire.

TROIS PILIERS

Comment nous opérons.

01

Éducation du public

Plaidez pour des cadres contraignants qui interdisent les systèmes d'IA superintelligents, et non pour des lignes directrices volontaires. Le travail consiste en des explications en langage clair, une présence sociale et des médias créatifs qui donnent au public un vocabulaire commun pour la prévention.

Les arguments portent sur trois goulots d'étranglement que les gouvernements peuvent utiliser : l'infrastructure de calcul, où un petit nombre de fabricants de puces contrôlent le matériel nécessaire à l'entraînement des modèles de pointe ; les laboratoires d'IA de pointe, où les incitations commerciales l'emportent sur les engagements de sécurité ; et les organismes internationaux, où des cadres de traités doivent être construits avant que les courses aux capacités ne deviennent irréversibles. Nous ne gérons pas de service de lobbying direct à Washington ou dans d'autres capitales.

02

Construction de coalition

Mobiliser les plus grandes fondations philanthropiques mondiales, les chefs d'État, les prix Nobel, les célébrités et les figures culturelles pour amplifier le message, financer la cause et faire évoluer la fenêtre d'Overton.

L'histoire de la défense efficace est celle de coalitions improbables. Le mouvement des droits civiques a uni clergé, syndicats et avocats. Le mouvement pour le désarmement nucléaire a réuni physiciens et poètes. Nous construisons la coalition qui fera de la sécurité de l'IA la question politique majeure de cette décennie.

03

Culture et sensibilisation

Commander des œuvres d'art, des films, du journalisme et des médias qui rendent le danger tangible et incontestable. Le mouvement climatique a échoué pendant des décennies en partie parce que la menace était abstraite et lointaine. Le risque lié à l'IA ne l'est pas, mais il faut le faire sentir immédiat.

La sûreté doit devenir prestigieuse, urgente et impossible à ignorer. Nous travaillons avec des cinéastes, des romanciers, des concepteurs de jeux et des journalistes pour construire l'infrastructure culturelle d'un mouvement qui durera, y compris l'argument économique dans Pourquoi un capitaliste croit en la régulation ASI.

FEUILLE DE ROUTE POLITIQUE

Trois demandes spécifiques.

Ce sont des mesures concrètes que les gouvernements peuvent prendre avec des outils qui existent déjà. Chacune a un précédent avec un nom et une année.

Infographie : Plan de métro de notre stratégie, de la course actuelle à un traité contraignant et à la vérification Infographie : Plan de métro de notre stratégie, de la course actuelle à un traité contraignant et à la vérification
De la course à une traité contraignant.
01

Gouvernance du calcul

Exiger des licences gouvernementales pour les entraînements dépassant un seuil de calcul défini (actuellement proposé à 1026 opérations en virgule flottante). Imposer des audits de sécurité indépendants avant le déploiement. Créer un registre international vérifié de tous les entraînements de modèles de pointe. Le calcul est le goulot d'étranglement: un petit nombre de fabricants, principalement TSMC, NVIDIA et ASML, contrôlent le matériel nécessaire à la construction des systèmes d'IA de pointe, ce qui rend la délivrance de licences au niveau du calcul techniquement simple et vérifiable.

Un plafond ne tient que si le matériel lui-même est suivi. Les GPU avancés dont dépendent ces entraînements peuvent être enregistrés et, de plus en plus, construit pour vérifier sur puce où ils sont et ce qu'ils font, une attestation de localisation infalsifiable et des limites d'utilisation gravées dans le silicium, de sorte qu'un plafond légal devienne un plafond physique. C'est aussi la réponse à la délocalisation : sans traçage au niveau du matériel, un labo qui atteint le plafond chez lui déplace simplement son run d'entraînement vers une juridiction permissive. Étendre les contrôles à l'exportation et la vérification au niveau des puces sur toute la chaîne d'approvisionnement est ce qui empêche le compute de s'écouler discrètement là où les règles sont les plus faibles.

02

Traité international sur la sécurité de l'IA

Un accord multilatéral contraignant pour interdire le développement de systèmes d'IA dépassant un seuil défini de capacités générales, inspiré du Traité sur la non-prolifération nucléaire. Aucune nation ne devrait être exemptée. Ce n'est pas un moratoire à lever selon un calendrier; il s'agit d'une interdiction permanente. La superintelligence ne peut pas être contrôlée par les humains. Le NPT est imparfait, mais il a empêché l'utilisation d'armes nucléaires pendant quatre-vingts ans. L'objection classique (« d'autres pays tricheront ») est précisément l'argument avancé contre la non-prolifération nucléaire. La réponse n’est pas de se lancer dans une course. La réponse est un traité avec des mécanismes de vérification.

03

Agence mondiale de surveillance de l'IA

Un organisme intergouvernemental doté de droits d’inspection, analogue à l’Agence internationale de l’énergie atomique, habilité à vérifier le respect des limites de calcul et à imposer des pratiques de développement sûres dans les laboratoires d’IA de pointe. Le IAEA a été créé dans les trois ans suivant le Traité de non-prolifération nucléaire. Une Agence mondiale de surveillance de l'IA est réalisable dans le même délai si la volonté politique existe. Son mandat inclurait la déclaration obligatoire des sessions d'entraînement, des inspections sur site des principaux laboratoires d'IA et le pouvoir de formuler des recommandations contraignantes aux États membres.

APPLICATION

Quels sont les coûts de l'application,
et pourquoi cela en vaut la peine.

Un traité n’est réel que par son application. Militer pour un traité sans nommer le texte serait une escroquerie. Les coûts sont réels. Mesurés à ce qu’ils achètent, ils restent faibles.

Vérification intrusive

Une application significative signifie l'inspection sur site des centres de données, la déclaration obligatoire des grands runs d'entraînement, et du matériel qui signale sa propre localisation et son utilisation. C'est une intrusion dans le secret commercial et, mal gérée, dans la vie privée. Le régime d'inspection nucléaire accepte la même intrusion parce que l'alternative est pire. La garantie est que la surveillance est internationale et transparente, et non détenue par un seul État ou une seule entreprise.

Avantage perdu

Retenir la superintelligence implique de différer les bénéfices éventuels qu’une version contrôlable pourrait un jour apporter et de demander aux entreprises et aux pays de laisser sur la table des profits à court terme considérables. C’est un coût réel. Mais une superintelligence incontrôlable ne délivre ces bénéfices à personne : un système qu’on ne peut aligner n’est pas un atout que l’on peut conserver. Différer un prix que personne ne peut revendiquer en sécurité n’est pas un grand sacrifice.

Un bord net

Des règles sans conséquences sont des suggestions. L'application n'est efficace que lorsque les violations ont un poids : refus d'exportation, sanctions financières, exclusion de la chaîne d'approvisionnement en calcul, et (comme pour les matières fissiles) une compréhension partagée qu'un projet hors-la-loi visant à construire une superintelligence est l'urgence de tous, pas une affaire privée. Construire cette contrainte est difficile et politiquement coûteux. Tous les régimes sérieux de maîtrise des armements l'ont pourtant exigée.

Les coûts de l'application sont limités. Le coût de l'absence d'application ne l'est pas.

Toute objection à l'application (qu'elle est intrusive, coûteuse et contraint l'industrie) est vraie et survivable. Le seul résultat qui n'est pas survivable est celui que l'application existe pour prévenir. Nous payons des coûts bornés et connus pour écarter un risque illimité et irréversible. C'est le même compromis que la civilisation a déjà fait pour armes nucléaires, chimiques et biologiques.