Au début des années 1970, les biologistes ont appris à insérer des gènes d’un organisme dans un autre. L’ADN recombinant a ouvert la médecine et la biologie d’un coup, et cela a effrayé ceux qui l’inventaient. Ils ne pouvaient exclure qu’un organisme modifié s’échappe d’un laboratoire et cause des dommages que personne ne saurait contenir. Alors ils ont fait quelque chose de presque inouï. Ils se sont arrêtés.

En 1974, des chercheurs de premier plan, dont de futurs lauréats du prix Nobel, ont publiquement appelé à un moratoire volontaire sur les expériences d’ADN recombinant les plus dangereuses. En février 1975, environ 140 scientifiques, accompagnés d’avocats et de journalistes, se sont réunis au centre de conférences d’Asilomar en Californie pour définir les conditions permettant de reprendre ces travaux en toute sécurité. Ils en sont sortis avec un cadre de mesures de confinement adaptées au risque, et la recherche a repris sous des garde-fous consensuels. Pour les partisans d’une pause sur l’IA de pointe, c’est le point de référence : un domaine qui a reconnu son propre danger et choisi la prudence plutôt que la vitesse.

Ce qu'Asilomar a vraiment réussi

La réalisation est réelle et mérite d'être énoncée clairement.

Des scientifiques ont agi avant une catastrophe plutôt qu’après, ce qui est la chose la plus rare et la plus précieuse dans toute l’histoire de la sécurité technologique. Ils ont accepté de restreindre leurs propres travaux, y compris des recherches prometteuses en termes de notoriété et de progrès, parce que le risque le justifiait. Et ils ont élaboré des règles pratiques adaptées au niveau de danger, plutôt que d’ignorer le risque ou d’interdire purement et simplement le domaine. Cela prouve qu’une communauté scientifique peut examiner sa propre frontière, la juger trop dangereuse pour être franchie à la hâte, et se retenir. Ce précédent réfute directement l’idée qu’interrompre une technologie puissante serait naïf ou impossible, c’est pourquoi il figure aux côtés des cas de maîtrise des armements dans notre page expliquant pourquoi agir est possible.

Pourquoi c'est un modèle plus difficile qu'il n'y paraît

L'honnêteté à propos du précédent signifie nommer pourquoi l'IA est un cas plus difficile, car les différences sont exactement les parties qui ont fait fonctionner Asilomar.

  • C'était une petite communauté unie. Une poignée de laboratoires, une culture scientifique unique, des gens qui se connaissaient. L’IA de pointe est un concours mondial entre entreprises et États pesant des milliers de milliards, sans table commune.
  • Les enjeux commerciaux étaient modestes en 1975. L'industrie biotech existait à peine. L'IA arrive avec les plus grandes entreprises de la planète et les établissements de sécurité nationale déjà engagés, ce qui est la dynamique de course qu'Asilomar n'a jamais affronté.
  • Redémarrer était l'objectif. Asilomar visait à trouver des conditions sûres pour continuer, pas à s'arrêter indéfiniment. Son modèle de confinement supposait qu'on pouvait confiner le danger dans un laboratoire physique. Une IA capable n'est manifestement pas confinable de cette manière.

Il y a aussi un épilogue édifiant. Le consensus d'Asilomar a tenu en partie parce que c'était un moment étroit avec des incitations alignées, et même alors il dépendait d'une bonne volonté volontaire qu'un domaine plus commercial et plus concurrentiel mettrait à rude épreuve. Ce qui a fonctionné parmi 140 scientifiques collégiaux ne se transpose pas directement à une industrie mondiale fracturée soumise à une pression intense pour gagner.

Asilomar prouve qu'une pause est possible. Cela montre aussi les conditions dont une pause a besoin, et combien peu l'IA en a actuellement.

La leçon que tire la Fondation

Les deux aspects d’Asilomar comptent. Cela réfute le fatalisme qui prétend que rien ne peut être fait, qu’une technologie puissante ne peut être ralentie. Les scientifiques l’ont fait, délibérément, et le ciel n’est pas tombé. Mais cela montre aussi que le mécanisme informel, volontaire et collégial qui a fonctionné en 1975 ne suffit pas pour l’IA, car l’IA n’a ni la petite communauté, ni les enjeux limités, ni le danger circonscriptible qui ont permis à la bonne volonté de suffire. La bonne conclusion est que l’IA a besoin de ce qu’Asilomar a pu accomplir, une véritable retenue avant le danger, délivrée par l’appareil international contraignant et vérifiable qu’exige une course mondiale de mille milliards de dollars, et non que l’IA a besoin de son propre Asilomar. Voir notre plan.