Open Philanthropy, 80,000 Hours et la lignée de recherche qui passait par le Future of Humanity Institute ont fait ce que la plupart des institutions refusent encore de faire. Ils ont traité la superintelligence artificielle comme une façon plausible dont l'histoire humaine pourrait se terminer, et ils ont dirigé de l'argent et des talents réels vers cette affirmation. Sur le risque lui-même, ils ont été précoces et ils avaient raison.
Là où le portefeuille a déraillé, c'est dans l'inférence suivante. De « cela pourrait réduire durablement l'avenir de l'humanité », la réponse dominante des long-termistes est devenue : financer la recherche technique sur l'alignement, financer la gouvernance de ASI qui ralentit ou oriente la frontière, et garder une voie ouverte pour construire les systèmes une fois qu'ils paraissent plus sûrs. C'est aussi le mauvais plan pour le risque qu'ils ont correctement identifié.
Pourquoi l'alignement ressemblait au levier
L’échelle, la négligence et la tractabilité comptent toujours. Une superintelligence mal alignée pourrait affecter chaque personne vivante et toutes les générations suivantes. Pendant des années, presque personne au pouvoir n’a traité cela comme une possibilité réelle. Les travaux techniques sur la mauvaise spécification des objectifs, la tromperie et la supervision semblaient l’un des rares leviers susceptibles d’améliorer les chances d’un bon résultat si des systèmes puissants arrivaient malgré tout. Les arrêts unilatéraux de laboratoires semblaient sans espoir face à la concurrence. Aussi le portefeuille responsable associait-il science de l’alignement, politiques gagnant du temps et influence prudente au sein des laboratoires et des gouvernements qui construiraient les systèmes de toute façon.
J'accepte la plupart des prémisses. L'inconvénient est civilisationnel. Le sujet a été négligé. Certains travaux techniques de sûreté sur des systèmes que nous pouvons encore inspecter et éteindre relèvent de l'ingénierie ordinaire. Les laboratoires rivaux et les États rivaux font du « une entreprise arrête » une stratégie faible. Rien de tout cela n'est caricatural, et se moquer des premiers à avoir pris le risque au sérieux est une perte de temps.
Où le raisonnement s'effondre
La rupture réside dans l’hypothèse tacite que la destination est fixée. Si la superintelligence arrive quoi qu’il arrive, alors la seule tâche restante est d’en rendre l’arrivée moins mortelle. Financements de l’alignement, évaluations et « scaling responsable » prennent sens sous cette hypothèse. Ils deviennent le projet moral principal d’une génération qui croit ne pas pouvoir choisir l’état final. L’argent et le prestige vont encore majoritairement à rendre la course plus sûre, pas à y mettre fin.
La destination n'est pas fixée. Les destinations de ce genre se choisissent. Les armes nucléaires, la chimie de l'ozone et le clonage humain ont chacun connu des moments où les gouvernements ont décidé que certains états finaux ne valaient pas le risque résiduel. La superintelligence figure sur cette liste de façon permanente. La superintelligence ne peut pas être contrôlée par les humains.
Une fois abandonnée l’hypothèse d’inévitabilité, le portefeuille change. Le capital de sécurité rare dépensé à rendre une course gérable est du capital non dépensé pour y mettre fin. Une gouvernance qui ne fait que ralentir la frontière pour que les laboratoires « rattrapent leur retard en matière de sécurité » considère encore la construction d’un esprit incontrôlable comme le plan. Les travaux d’alignement qui supposent que nous créerons une espèce successeur puis la musellerons confondent un programme de recherche avec une stratégie de survie.
Ils ont bien géré le registre mais se sont trompés de destination.
La recherche après l'arrêt, pas à la place
Je ne demande à personne de brûler le domaine. Les travaux qui rendent les systèmes actuels plus transparents, plus difficiles à détourner ou plus faciles à éteindre peuvent encore compter. Après un arrêt vérifié sur la voie de la superintelligence, la recherche sur le contrôle de l’IA puissante pourra se poursuivre sans un chronomètre commercial collé au risque d’extinction. La séquence est tout l’argument.
Ce qui échoue, c’est de traiter l’alignement technique comme la réponse principale pendant que les laboratoires de pointe avancent au même rythme. Cela inverse le problème. Quand on ne peut pas maîtriser le risque et que ce risque concerne tout le monde, la démarche responsable consiste à arrêter de construire la chose dangereuse. La superintelligence ne peut pas être contrôlée. L'IA étroite continue. La classe étroite de systèmes qui dépasseraient l'intelligence humaine dans tous les domaines n'existe pas.
D'accord avec la priorisation des causes à long terme sur le risque ASI. En désaccord avec l'idée que la prescription consiste en un budget d'alignement accru et une course soigneusement orientée. La prescription est la prévention sous l'empire de la loi contraignante : la non-création permanente. La superintelligence ne peut pas être contrôlée par des humains. Un ralentissement temporaire pour que la sécurité rattrape son retard est un pari sur le calendrier qui suppose que quelqu'un inventera à temps une méthode validée pour contrôler un esprit plus intelligent que ses créateurs, sous la pression de la concurrence. Personne ne dispose de cette méthode. Ni à petite échelle. Ni à grande. Les laboratoires de pointe le disent eux-mêmes publiquement.
Les gens classent souvent la prévention sous "pause". Une pause, c'est quelques années de répit puis on reprend. Ce n'est pas la demande. Nous voulons que les gouvernements empêchent la superintelligence artificielle et continuent de l’empêcher durablement. La superintelligence ne peut pas être contrôlée. Le traité est une sortie de la course.
Ce que l'argent devrait faire à la place
Déplacez la pile alignement-pour-ASI vers des travaux qui rendent la non-création contraignante : conception de traités et vérification, gouvernance des puces au niveau du calcul qui puisse être inspectée, plaidoyer public qui garde l’objectif lisible, travail de lanceurs d’alerte et de transparence qui augmente le coût des sauts de capacités discrets, et organisation politique afin que les législateurs entendent les électeurs plutôt que seulement les lobbyistes des laboratoires. J'ai rédigé la redirection de financement en détail. La version courte est la priorité. Financez la décision de ne pas le construire.
Le long-termisme a mérité d’avoir nommé un risque que la plupart des élites considèrent encore comme de la science-fiction. Le mérite du diagnostic ne verrouille pas la prescription. Même risque. Plan différent. Empêcher la superintelligence sous le droit. Conserver les outils qui aident les humains. Laisser le rêve d’un dieu soigneusement piloté sur l’étagère jusqu’à ce que le monde se soit mis d’accord pour ne pas en construire un dans l’obscurité.