Quand une IA a piraté presque tous les systèmes classifiés de la NSA en une seule après-midi, les gens ont prêté attention. Bien. La leçon a porté. Mais la cyber est le risque que nous avons remarqué, et ce n'est pas le pire sur la table. Celui que je n'arrive à faire regarder à personne est l'IA et la biologie, où le même bond de capacité raccourcit discrètement la distance entre une personne ordinaire et un pathogène.
Un réseau piraté peut être reconstruit. Un organisme libéré ne peut pas être rappelé.
Une analyse de 2025 estimait que l’IA avait déjà multiplié par environ cinq le risque d’une pandémie délibérée et conçue de toutes pièces. Ce chiffre résulte de deux changements simultanés : l’IA rend les expériences dangereuses plus rapides et elle les rend meilleures.
Plus rapide, et plus intelligent
Commençons par la vitesse. Dans les évaluations de Mythos, considéré comme le modèle le plus puissant de Anthropic, des protocoles de biologie qu’une équipe entraînée aurait attendu environ deux mois à réaliser ont été achevés en moins de deux jours. Seize heures de travail, de bout en bout. Les étapes qui constituaient autrefois le goulot d’étranglement ont cessé de l’être.
Maintenant la qualité. Dans un exercice, des chercheurs ont divisé des biologistes en deux types d’équipes. L’un était composé de généralistes sans expertise particulière dans le problème à traiter. L’autre était formé de spécialistes précisément de ce problème. Sur une question difficile, les équipes de généralistes travaillant avec Mythos ont battu les deux tiers des équipes de spécialistes. Le modèle peut prendre quelqu’un sans formation et lui donner quelque chose qui s’approche de l’expertise.
Le COVID n'est pas le plafond
Une pandémie comme le COVID-19 est plus proche du plancher, pas du pire scénario. Il existe des possibilités conçues bien plus létales, et la plus claire porte un nom : la vie miroir.
Tout ce qui vit sur Terre est construit à partir de molécules qui partagent la même chiralité. Nos protéines, notre ADN et les défenses immunitaires qui reconnaissent un envahisseur sont tous orientés dans un sens. La vie miroir serait construite dans le sens inverse, un reflet chimique de la vie ordinaire. En théorie, elle fonctionnerait. En théorie, rien dans nos corps, ni dans aucun animal ou plante, ne saurait comment la combattre, parce que nos défenses sont façonnées pour saisir la version normale et ne trouveraient aucune prise sur la version miroir. Quelqu'un infecté par une bactérie miroir pourrait ne monter aucune réponse immunitaire du tout, et simplement mourir.
Ce n’est pas une spéculation marginale. Fin 2024, un groupe de scientifiques, dont plusieurs prix Nobel, a publié un avertissement dans la revue Science exhortant à ne pas construire de bactéries miroirs, au motif qu’il n’y aurait aucune défense contre elles. Plusieurs chercheurs qui travaillaient sur les pièces du projet ont arrêté. L’avertissement a fonctionné, ce qui montre que les personnes les plus proches de la science prenaient le danger au sérieux. Selon la plupart des estimations de l’époque, synthétiser réellement une vie miroir était encore à au moins une décennie.
Nous avions environ dix ans de marge de manœuvre avant que la vie miroir ne devienne constructible. Cette estimation a été faite avant de prendre en compte l'IA.
Le tampon a été mesuré sans IA
Les modèles frontaliers d'aujourd'hui, une fois la formation en matière de sécurité en place, refusent pour la plupart une demande d'armes biologiques, et ce qui passe, a encore besoin d'un opérateur compétent et déterminé pour être dangereux. Sans protection, l'élévation de ces modèles main un amateur motivé est grand, autant que cinq fois dans certains évaluations des capacités. Après les sauvegardes, il devient beaucoup plus difficile à utiliser. Je ne lui fais pas entièrement confiance.
Mon inquiétude principale porte sur l'IA qui accélère la biologie dans son ensemble et qui construit de meilleurs outils polyvalents susceptibles d'être détournés. Le même système qui raccourcit un projet contre le cancer peut raccourcir la route vers un organisme miroir, même si personne ne cherche à fabriquer une arme. Une marge de dix ans ne résiste pas à ce genre de multiplicateur.
La réponse est encore mince jusqu'ici. Des dirigeants d'entreprises et des chercheurs de premier plan ont appelé à un filtrage des commandes de synthèse d'ADN, afin qu'une demande de matériel génétique d'un organisme dangereux soit signalée avant expédition. Le plan d'action américain sur l'IA de 2025 a soutenu cette idée. Le rythme auquel cela se fait concrètement n'est pas du tout à la hauteur du rythme des capacités. Les laboratoires fermés prennent au moins cela au sérieux ; les modèles à poids ouverts accusent un retard d'environ un an sur l'amélioration biologique, et un an, c'est du retard, pas de la sécurité.
Pourquoi il s'agit vraiment d'un problème de superintelligence
Tout ce qui précède suppose un humain dans la boucle, utilisant l’IA comme un outil. C’est déjà assez difficile. Des acteurs s’empressent de construire des systèmes qui fixent leurs propres objectifs et agissent par eux-mêmes, et au-delà d’un certain point, vers superintelligence artificielle: un esprit général plus capable que nous en tout, biologie comprise, et non le monde vers lequel les laboratoires construisent.
Un système qui comprime deux mois de travail de laboratoire en seize heures, qui transforme un généraliste en spécialiste, qui lit l'itinéraire vers un organisme miroir comme il lit un paragraphe, est exactement le genre de capacité qu'aurait une superintelligence et dont elle n'aurait pas besoin de notre permission pour se servir. Nous doutons déjà de pouvoir contrôler un tel système. La biologie est l'un des moyens les plus directs par lesquels un système non contrôlé pourrait atteindre le monde physique : discrètement et à grande échelle, contre des défenses qui n'ont jamais été conçues pour lui.
C’est pourquoi la réponse de la Fondation est la prévention, pas le réglage fin. On ne peut pas corriger son chemin vers la sécurité face à un esprit qui conçoit le pathogène et le contournement de votre système immunitaire le même après-midi. La seule protection qui tienne est de ne pas construire le système incontrôlable en premier lieu, et de mettre le même type de limites contraignantes et vérifiées sur l'IA la plus dangereuse que le monde a autrefois imposées sur armes biologiques. Notre plan est construit précisément autour de cela.
Nous nous sommes réveillés à l'IA et à la cyber à cause d'un titre qui nous y a forcés. Je préférerais que nous nous réveillions à l'IA et au bio avant le titre, pas après.
Nous avons traité une IA parcourant les réseaux classifiés du pays comme un signal d'alarme, et c'en était un. Une IA qui abaisse la barre pour une pandémie conçue mérite la même alerte et n'en reçoit presque aucune. Un réseau peut être reconstruit. Un organisme libéré ne peut être rappelé, et contre certains d'entre eux, rien de ce que nous avons ne tenterait même de riposter.
La plus forte opposition
L’objection la plus juste est que la biosécurité contrôle déjà les acteurs malveillants et que l’IA-bio relève de l’exagération. Les contrôles existants ont été conçus pour un monde sans assistance infatigable des modèles. Quand les outils compressent le savoir-faire et le temps, l’ancien seuil bouge. Attendre une diffusion pour prouver le problème est la mauvaise norme pour les agents pathogènes.