« Si nous arrêtons de construire la superintelligence, quelqu’un d’autre le fera. » C’est la phrase qui clôt la discussion dans une centaine de salles. Cela ressemble à de la géographie et à de la théorie des jeux. Souvent, ce n’est ni l’un ni l’autre. Souvent, c’est une façon de continuer à construire tout en qualifiant la construction d’inévitable. Essayons la même logique avec une technologie que nous avons déjà maîtrisée. « Si nous arrêtons de fabriquer des réfrigérateurs aux CFC, quelqu’un d’autre continuera simplement à en fabriquer. »
Oui. Ils ont continué à fabriquer des réfrigérateurs. Ils ont simplement arrêté d’utiliser le produit qui crevait un trou dans le ciel.
Deux noms différents
Un réfrigérateur est un service : aliments frais, vaccins, moins de gaspillage. Les chlorofluorocarbures étaient un moyen d'obtenir ce service, et un désastre pour la couche d'ozone une fois la chimie établie. Le Protocole de Montréal n'a pas interdit le froid. Il a programmé l'élimination progressive des substances responsables des dégâts, financé des alternatives pour les pays les plus pauvres et soutenu l'accord par des pressions commerciales. L'industrie avait déclaré que cette élimination était impossible. Les réfrigérateurs sont restés. Les CFC sont partis.
La rhétorique de la superintelligence fusionne deux noms en un seul. « IA » devient une masse unique qui englobe les modèles de cancer, les planificateurs d’itinéraires et un agent hypothétique plus intelligent que l’espèce humaine. Si vous refusez ce dernier élément, le slogan affirme que vous avez aussi refusé les premiers, et que quelqu’un de moins scrupuleux livrera le tout. La manœuvre consiste à faire croire que le poison est identique au produit, afin que retirer le poison ressemble à une guerre contre le produit.
Nous n'avons pas sauvé la couche d'ozone en promettant de construire le trou d'abord. Nous avons gardé le frigo et retiré le produit chimique.
À quoi sert « quelqu'un d'autre le fera »
Un labo rival, ou un état rival, pourrait essayer de s'entraîner à travers n'importe quelle ligne que vous dessinez. Cette possibilité est suffisamment réelle pour être envisagée. C'est aussi la possibilité que le contrôle des armes ait été inventé pour gérer. La réponse à « quelqu'un d'autre pourrait construire une bombe » n'était pas « alors nous devons tester infiniment ». Il s'agissait de la vérification, des étouffements sur les matières fissiles et des conséquences pour la cassure.
Le calcul est plus compliqué que l'uranium, et personne de sérieux ne prétend le contraire. Il reste physique, coûteux à la frontière et passe par une courte liste de fabricants de puces, de fonderies et de régions cloud. C'est une structure suffisante pour bâtir des inspections, c'est pourquoi gouvernance du calcul apparaît dans chaque ébauche sérieuse de traité. « Quelqu'un d'autre le fera » saute ce travail et passe directement à la permission.
Remarquez qui bénéficie du saut. Si la retenue est présentée comme un abandon unilatéral, alors la seule posture adulte est la vitesse maximale. Les investisseurs entendent la destinée. Le personnel de sûreté entend que ralentir est naïf. Le slogan n'a pas besoin de gagner un débat sur les mécanismes. Il lui suffit de rendre la troisième option, la retenue partagée, enfantine.
Le frigo n'a jamais été l'ennemi
Nous voulons une IA étroite qui diagnostique, conçoit des médicaments et détecte des défauts dans les ponts. Dites-le clairement pour que la calomnie ne colle pas. La ligne de la fondation est un refus de construire systèmes qui dépassent et remplacent le contrôle humain alors que le problème de contrôle reste non résolu.
C’est plus proche de « utiliser d’autres fluides frigorigènes » que de « interdire le froid ». Ceux qui effacent cette distinction empruntent la popularité de l’IA utile pour justifier une capacité qui ne restera pas un simple outil.
Ce que la lutte pour l'ozone nous apprend vraiment
Montréal a fonctionné parce que la science s’est fait entendre, que des substituts existaient et que les réfractaires ont subi des coûts commerciaux. La superintelligence est plus difficile sur les substituts de la « domination stratégique », et plus facile sur un point que le slogan ignore : aucune grande puissance n’a d’intérêt cohérent à un système qui ne reste sous le contrôle de personne. La vulnérabilité partagée est la matière première d’un accord. Nous développons ce dossier sur le Mythe chinois page et dans le mythe racial essai. La version courte est que la peur des rivaux peut financer un traité aussi facilement qu'elle finance une course, une fois que la fin creuse est visible.
Demandez quel nom ils veulent dire. L’IA utile n’est pas sur la sellette. La superintelligence incontrôlable l’est. Pour ce second nom, le risque de défection est une raison de construire l’application, pas une raison de défecter par avance. Les réfrigérateurs ont continué à fonctionner. Le ciel s’est réparé parce que les gens savaient faire la différence.