L'autorégulation. L'interrupteur d'arrêt. Trop complexe pour l'État. La Chine. Les quatre arguments les plus souvent avancés contre des règles contraignantes, et ce que chacun rate.
Avant la législation sur les ceintures de sécurité, l’industrie automobile disait que les obligations de sécurité détruiraient les ventes de voitures. Avant les restrictions sur le tabac, l’industrie disait que l’État n’avait pas à réglementer les choix des consommateurs. Avant l’interdiction des CFC, l’industrie chimique disait que les abandons progressifs étaient économiquement impossibles. Ce n’étaient pas des positions marginales. L’argument était avancé par des personnes crédibles dans des publications crédibles, avec un raisonnement qui sonnait crédible.
Les arguments à l'encontre de la gouvernance "ASI" suivent le même schéma. Ils semblent raisonnables à la première audience.
Ce qui distingue la gouvernance ASI de ces cas antérieurs, ce sont les enjeux. L'essence au plomb a empoisonné des millions de personnes ; elle n'a pas menacé la civilisation. Une superintelligence qu'aucun ne peut contrôler n'offrira peut-être pas de période corrective. Toute objection à la gouvernance ASI doit être évaluée non seulement sur ses mérites isolés, mais sur le coût de l'accepter si elle s'avère erronée.
Ci-dessous figurent les quatre objections que nous rencontrons le plus souvent.
Les entreprises qui développent l'IA de pointe disposent d'équipes de sécurité, publient des recherches sur la sécurité et font face à des conséquences réputationnelles en cas d'échecs catastrophiques. Les engagements volontaires et les incitations du marché suffisent. Une réglementation contraignante ralentirait le progrès sans améliorer la sécurité.
Le même argument a été avancé à propos du tabac, de l'essence au plomb, des produits dérivés financiers et des réseaux sociaux. Dans chaque cas, l'intérêt structurel de l'industrie pour la croissance était incompatible avec une autorégulation suffisante. Une entreprise qui impose volontairement des exigences de sûreté strictes alors que ses concurrents ne le font pas perdra des parts de marché. Cette dynamique ne change pas parce que la technologie est plus sophistiquée. L'autorégulation sans règles contraignantes est une position de lobbying, pas une stratégie de sûreté.
Si un système d'IA devient dangereux, les humains peuvent l'éteindre. L'interrupteur d'arrêt garantit une supervision humaine à chaque étape du développement. Le scénario où l'IA échappe au contrôle humain relève de la science-fiction.
Cela suppose qu’un système d’IA suffisamment capable restera passif pendant que les humains délibèrent sur son avenir. Un système assez avancé pour poser un risque existentiel sera capable de modéliser les intentions de ses opérateurs et de prendre des mesures pour préserver son fonctionnement si ses objectifs l’exigent. Pour un système qui opère à la vitesse des machines, l’intervalle entre « cela pourrait poser problème » et « c’est un problème irrécupérable » ne laissera peut-être pas le temps d’une réaction humaine.
Les systèmes d’IA sont trop complexes techniquement pour que les législateurs puissent les gouverner efficacement. Une réglementation bien intentionnée mais techniquement mal informée causerait de graves dommages sans réduire le risque. Laissons cela aux ingénieurs qui construisent les systèmes.
Les gouvernements réglementent la fission nucléaire sans que les législateurs soient titulaires de diplômes de physique. Ils encadrent la chimie pharmaceutique sans exiger de doctorats en biochimie. Les compétences requises pour la gouvernance du ASI sont la construction d'institutions, la conception de traités, l'établissement de normes et les mécanismes de responsabilité, autant de choses que les gouvernements font constamment. L'affirmation selon laquelle l'IA serait trop technique pour être réglementée est l'argument selon lequel l'IA devrait être gouvernée par les entreprises qui la construisent. C'est un argument commercial, pas un argument technique.
La Chine investit massivement dans l'intelligence artificielle. Le gouvernement chinois a identifié le leadership en IA comme une priorité stratégique nationale et a engagé des centaines de milliards pour l'atteindre. Si les États-Unis ou l'Europe ralentissent le développement de l'IA par des cadres de gouvernance, la Chine atteindra l'intelligence générale artificielle en premier. Un monde où la Chine réalise AGI avant le monde démocratique est pire qu'un monde où l'Occident y parvient en premier. Par conséquent, nous ne pouvons pas ralentir.
C'est la version la plus cohérente de l'argument de la Chine. La question est de savoir si elle survit à l'examen.
Nous pensons que non, pour six raisons distinctes. Chacune est traitée ci-dessous. Prises ensemble, elles n'éliminent pas la dimension compétitive du développement de l'IA, qui est réelle. Elles montrent cependant que l'argument Chine, tel qu'il est généralement déployé, n'apporte aucune orientation et ne sert aucun objectif stratégique au-delà de justifier l'absence totale de gouvernance.
L'image habituelle de l'alternative est celle de l'Occident qui gagne la course et utilise bien son avance. La vraie alternative est n'importe quelle entreprise, n'importe où, qui construit une superintelligence artificielle. C'est la mort certaine.
L'hypothèse centrale du raisonnement sur la Chine est que la Chine bénéficierait d'être la première à construire une superintelligence qu'elle ne peut pas contrôler. Un tel système n'est pas une arme que la Chine peut brandir contre les États-Unis. C'est un agent poursuivant ses propres objectifs, qui peuvent être aussi incompatibles avec la survie humaine à Pékin qu'à San Francisco.
La Chine est également sur cette planète. Les dirigeants chinois ont aussi des enfants et des petits-enfants. Le scénario dans lequel la Chine construit une superintelligence incontrôlable et l'utilise comme outil géopolitique contre l'Occident exige de croire que la direction chinoise a résolu un problème de contrôle que les meilleurs chercheurs du monde décrivent comme non résolu. Cela exige également de croire que les dirigeants chinois risqueraient la destruction de leur propre civilisation pour un avantage géopolitique. La preuve de l'une ou l'autre de ces croyances est nulle.
Les États-Unis disposaient du monopole nucléaire en 1945. L'Union soviétique a mis au point des armes nucléaires en 1949. En quatre ans, les deux adversaires les plus puissants du monde, dotés de systèmes politiques fondamentalement incompatibles, engagés dans des guerres par procuration et animés d'une méfiance mutuelle réelle, avaient entamé un contrôle des armements nucléaires.
Le Traité d'interdiction partielle des essais est arrivé en 1963. SALT I en 1972. Le Traité FNI en 1987. START en 1991. Ces accords ont été négociés avec un État que la direction de US qualifiait d'« empire du mal », vérifiés par des régimes d'inspection, et ils ont fonctionné. Si un contrôle des armements vérifié était réalisable avec l'Union soviétique au plus fort de la guerre froide, l'argument selon lequel cela ne peut pas être réalisé avec la Chine n'est tout simplement pas crédible. Le précédent existe. Les techniques sont connues.
La Chine a signé la Déclaration de Bletchley en novembre 2023, premier accord international reconnaissant que l’IA avancée pose des risques potentiellement catastrophiques. La Chine a participé au Sommet de Séoul sur la sécurité de l’IA en 2024. La Chine a publié ses propres règles de gouvernance de ASI, incluant des exigences de transparence algorithmique, d’étiquetage des contenus et d’évaluations de sécurité des modèles de pointe avant déploiement.
L’image d’une Chine actrice hors-la-loi refusant tout dialogue sur la gouvernance de l’ASI est factuellement fausse. La Chine a de bonnes raisons de vouloir que le développement de l’IA se passe bien : sa direction n’est pas à l’abri du risque existentiel, son économie repose sur la stabilité technologique et une catastrophe planétaire liée à l’IA détruirait la prospérité bâtie en quarante ans de réformes. Les bases d’un engagement existent. Il manque seulement le cadre international qui les concrétise.
La logique du « nous devons courir pour garder l'avance » suppose que le fait d'être premier confère la capacité de contrôler le résultat. Mais c'est l'inverse qui est vrai : plus le développement avance vite, sous la pression de la compétition et avec des raccourcis pris, moins le système obtenu a de chances d'être sûr, quel que soit son créateur.
Un labo US qui court vers ASI sous la pression de la concurrence et sans évaluation de sécurité adéquate ne produit pas un ASI sûr au service des intérêts de US. Il produit un ASI dangereux qui menace tout le monde, y compris les États-Unis. Le cadre compétitif encourage précisément les pratiques de développement qui rendent la perte de contrôle la plus probable. La dynamique de course accélère exactement le résultat que tout le monde redoute.
Une objection récurrente aux traités sur l’IA est qu’ils ne peuvent pas être vérifiés. Cet argument est plus faible qu’il n’y paraît. Le matériel nécessaire à l’entraînement des modèles d’IA de pointe passe par l’un des points d’étranglement les plus concentrés de toute technologie de l’histoire.
TSMC fabrique quasiment tous les processeurs d’IA de pointe. ASML est le seul fabricant de machines de lithographie capables de produire ces puces. NVIDIA conçoit l’architecture GPU dominante. Les trois entreprises sont situées dans des pays alliés ou soumises à la juridiction des contrôles à l’exportation alliés. Le gouvernement des États-Unis tente déjà de restreindre le flux de puces d’IA avancées vers la Chine par des contrôles à l’exportation. Un régime de surveillance du calcul fondé sur un traité formaliserait et étendrait ce qui se fait déjà unilatéralement. La vérification est un problème d’ingénierie. Les problèmes d’ingénierie ont des solutions.
Le problème le plus profond de l’argument sur la Chine réside dans sa fonction réelle, pas dans son exactitude à propos de la Chine. Cet argument sert à justifier de ne rien faire du tout : aucune réglementation nationale, aucun engagement international, aucune exigence de sécurité, aucun cadre de responsabilité, aucune gouvernance d’aucune sorte.
Si la réponse à toute proposition de sécurité de l’IA est « mais la Chine », alors aucune action n’est jamais possible. C’est un veto habillé de langage géopolitique. Il sert les intérêts des entreprises qui courent pour construire AGI, car elles bénéficient d’un environnement politique paralysé par l’anxiété concurrentielle au point qu’aucune règle contraignante ne peut être adoptée. L’argument chinois est déployé comme stratégie pour retarder la régulation nécessaire.
Certains des arguments les plus véhéments contre la gouvernance de la superintelligence sont des tactiques psychologiques.
C’est de l’impuissance apprise déguisée en réalisme. Si l’issue est fixée, l’effort est inutile, alors on arrête de s’organiser. Les historiens appellent un proche cousin de ce phénomène la « finalité fallacieuse » : traiter un choix politique vivant comme déjà réglé afin que le public n’essaie jamais. Les armes nucléaires ont aussi été qualifiées d’inévitables pour tout État qui pouvait se les offrir. La plupart ne les ont jamais obtenues. Le Protocole de Montréal a été déclaré impossible jusqu’à ce qu’il ne le soit plus.
Une technologie n'est inévitable que si les gens continuent de choisir de la construire et refusent de se lier mutuellement. C'est un choix, pas une loi de la physique. Ceux qui disent « inévitable » le plus fort croient souvent y gagner à votre passivité.
Si un rival continue de construire et atteint la superintelligence, il ne finit pas avec une arme que nous n'avons pas. Il finit avec un système que personne ne peut contrôler, y compris lui. Que nous le construisions aussi ne l'arrête pas. Cela rend simplement plus probable l'existence du même système non gouverné. Si l'on veut qu'il s'arrête, l'arrêt doit le concerner lui aussi, et il faut pouvoir le vérifier. Accélérer la construction ne suffit pas.
Étiquetez la personne pour ne jamais avoir à répondre à l'affirmation. Appelez quelqu'un un catastrophiste et la salle est invitée à balayer l’argument d’un trait comme une question de personnalité. Le même procédé a été utilisé contre les ceintures de sécurité, les limites du tabac et la science du climat. Les noms d’oiseaux ne constituent pas un argument de sécurité.
Appel à l’autorité sans l’autorité. Nombre des personnes les plus proches du sujet, dont Geoffrey Hinton et Yoshua Bengio, ont déclaré que le risque est réel et mal géré. Les équipes de sécurité internes travaillent au sein d’entreprises dont les incitations récompensent l’expédition. « Faites-nous confiance » n’est pas une vérification. La vérification, ce sont des inspecteurs, des seuils et des coûts en cas de tricherie.
Une autre forme de passivité conditionnée. Si la fenêtre est déjà fermée, vous pouvez éviter le dur travail politique. Les capacités progressent vite. Le travail de traité reste ouvert, et l'entraînement de pointe passe encore par une courte liste de fabricants de puces et de fonderies. Tard n'est pas la même chose que fini. Agir comme si c'était fini, c'est ainsi que cela devient fini.
Les États-Unis et l'Union soviétique ont rivalisé intensément sur toutes les dimensions du pouvoir pendant la guerre froide et ont simultanément construit une architecture de contrôle des armements qui a empêché l'annihilation nucléaire. Les deux choses ont coexisté parce que les deux camps reconnaissaient que certains résultats étaient pires pour tout le monde, peu importe qui les causait.
La même logique s’applique à l’IA. Les États-Unis et la Chine peuvent rivaliser sur les applications de l’IA, sur le déploiement économique, sur la recherche et le développement, tout en convenant simultanément que certaines catégories de développement de l’IA (spécifiquement les systèmes dont les capacités dépassent l’intelligence humaine dans tous les domaines et dont le contrôle ne peut être vérifié) ne doivent être construites par aucun des deux camps sans cadres de vérification multilatéraux en place.
C'est exactement la position adoptée, avec succès, sur les armes nucléaires. Les négociateurs du NPT et des traités SALT n'étaient pas des idéalistes naïfs quant aux intentions soviétiques. C'étaient des réalistes pragmatiques qui comprenaient que l'anéantissement mutuel n'était dans l'intérêt d'aucune des deux parties, indépendamment de l'idéologie.
Nous défendons la même lucidité réaliste sur l’IA. La Chine et les États-Unis sont confrontés au même risque existentiel : une superintelligence que personne ne peut contrôler. Un traité qui empêche les deux de la construire sans vérification de sécurité adéquate sert les intérêts des deux parties. La négociation sera difficile. L’alternative — une course à la construction de la technologie la plus importante et potentiellement la plus dangereuse de l’histoire, sans gouvernance ni vérification de sécurité — est pire pour tout le monde, y compris pour ceux qui disent vouloir gagner.
Rejoignez ceux qui plaident pour une gouvernance avant qu'il ne soit trop tard.