Une arme nucléaire est un design enveloppant un problème de matériaux. Il faut du matériau fissile, généralement de l’uranium hautement enrichi ou du plutonium issu d’un réacteur, en quantités et puretés qui ne tombent pas du ciel. Les usines d’enrichissement sont grandes, gourmandes en énergie et remplies d’équipements que les services de renseignement ont appris à repérer depuis soixante-dix ans. Cette difficulté n’est pas toute l’histoire de la non-prolifération, mais c’est la part que la physique a offerte gratuitement.
Faisons maintenant l'expérience de pensée que le slogan omet. Supposons que la configuration exacte des atomes qui compose une bombe soit facile à obtenir. Supposons que les intrants soient bon marché, à double usage et vendus par palette. Supposons qu'un plan fini puisse être copié comme un fichier. Combien d'années la espèce survivrait-elle?
Pas beaucoup. Les traités compteraient encore. Les normes et la peur aussi. Ils devraient accomplir tout le travail que la difficulté matérielle accomplit actuellement, à une échelle qu'aucun système d'application n'a jamais gérée. Le succès partiel du XXe siècle avec les armes nucléaires est incompréhensible sans le frottement dans la chaîne d'approvisionnement. Nous avons eu de la chance que l'uranium soit difficile.
Ce que la dureté nous a apporté
Neuf États sont connus pour posséder des armes nucléaires. Ce chiffre est un scandale, mais aussi une forme de merci. Des centaines d’États disposent du talent scientifique nécessaire pour comprendre la physique. Bien moins ont mené à bien le marathon industriel sous sanctions, surveillance et coûts. Le Traité de non-prolifération, les régimes de contrôle des exportations et le système de garanties de IAEA reposent tous sur un fait simple : le goulot d’étranglement est suffisamment visible pour être surveillé.
Supprimez le goulot d’étranglement et vous n’obtenez pas un problème diplomatique un peu plus difficile. Vous obtenez un monde dans lequel l’acteur marginal, un État faible, un groupe bien financé, un commandement dissident, peut prendre des villes en otage. Les calculs de dissuasion qui fonctionnent à peine entre une poignée de puissances raisonnables ne fonctionnent pas entre des dizaines d’acteurs aux horizons plus courts. La bombe est terrifiante. Des bombes faciles constituent une espèce de problème différente.
Nous ne survivons pas à des matériaux nucléaires faciles avec de meilleurs discours. Nous survivons à des matériaux nucléaires durs avec des inspections en plus. La superintelligence dérive vers le facile.
Dans quelle direction l’IA avance-t-elle?
L'entraînement des modèles de pointe exige encore de l'argent sérieux, des puces sérieuses et une ingénierie sérieuse. Un cluster assez grand pour repousser la frontière est un objet physique dans un bâtiment avec une facture d'électricité.
La courbe n’est pas celle de l’uranium. Les modèles deviennent plus capables par dollar. Les techniques s’améliorent. Les poids, une fois entraînés, peuvent être copiés à coût quasi nul. Les publications ouvertes et les fuites diffusent les capacités latéralement. Les talents sont mondiaux. Rien de tout cela ne rend la superintelligence gratuite demain matin. Tout cela s’éloigne du cadeau accidentel qui a rendu la non-prolifération nucléaire possible : une barrière matérielle obstinée.
Comparez honnêtement les deux piles. Pour obtenir un second arsenal nucléaire, il faut encore des usines, des matières premières et du temps sous les télescopes. Pour obtenir une seconde copie d’un modèle entraîné, il suffit d’un disque. Si l’objet dangereux est l’agent et non l’ogive, la réplication favorise le motif logiciel, non le motif isotopique. Nous prenons les limites de la métaphore sérieusement ailleurs.
La mauvaise leçon et la bonne
La mauvaise leçon est le fatalisme : les entrées deviennent plus faciles, donc la gouvernance est sans espoir. C’est le miroir inverse du slogan des laboratoires selon lequel seule plus de capacité peut nous sauver. Les deux ignorent l’intervalle dans lequel nous sommes encore, où les runs de pointe restent visibles et le nombre d’acteurs sérieux reste faible.
La bonne leçon est l'urgence face à la difficulté qu'il nous faut inventer. Si la physique ne maintient pas la porte étroite, le droit et les normes industrielles doivent le faire. Règles de connaissance du client sur les puces avancées. Seuils de déclaration sur les entraînements. Droits d'audit. Fonctionnalités matérielles rendant plus difficile de cacher un entraînement clandestin massif. Un traité stipulant que la superintelligence n'est pas un produit autorisé. La superintelligence ne peut pas être contrôlée. La NPT et le esquisse de traité modèle sont des tentatives de mettre cette rigidité sur le papier avant que le chemin facile ne finisse de s'ouvrir.
Clore l'expérience de pensée
Imaginez un briefing donné à un président en 1960 avec un plan éprouvé et un monde où le matériau des bombes se vendrait comme de l’engrais. Tous les instincts dans la pièce crieraient pour un contrôle à la source. Personne n’appellerait cet instinct anti-scientifique. Personne ne dirait que la réponse est d’inventer une bombe plus intelligente pour surveiller la première.
Nous construisons vers une capacité dont la barrière matérielle naturelle est plus faible que celle de la bombe, tout en nous répétant que la vitesse est la sécurité. L’expérience de pensée n’est pas subtile. Si la chose dangereuse est facile à fabriquer, le monde n’aura pas de seconde chance. Rendons-la difficile exprès, tant que c’est encore possible, ou découvrons ce que « facile » veut dire sans archive fossile de survivants pour en débattre.