L'IA est-elle dangereuse ? Ce que montrent les preuves

La question se présente sous deux formes. La première : l'IA cause-t-elle des dommages dès maintenant, à des personnes réelles ? La seconde : la superintelligence artificielle pourrait-elle menacer un jour la civilisation humaine elle-même ? Les deux questions sont légitimes. Les deux ont la même réponse. Et comprendre pourquoi exige de séparer les dommages causés par l'IA d'aujourd'hui du risque de ce qui est construit ensuite.

L'IA d'aujourd'hui est déjà dangereuse, dans une certaine mesure

Les dommages attribuables aux systèmes d'IA actuels sont réels, mesurables et croissants. Les algorithmes de recrutement entraînés sur des données historiques encodent et amplifient la discrimination à grande échelle. Les systèmes de recommandation optimisés pour l'engagement ont manifestement approfondi la polarisation politique, non parce que quelqu'un l'avait voulu, mais parce que l'indignation prolonge de manière fiable le temps de session et que c'est ce qui a été optimisé. La technologie des deepfakes a produit une vague d'images synthétiques non consenties. Les modèles génératifs ont fait chuter le coût de la désinformation à presque zéro.

Ces dommages méritent une attention politique sérieuse. La réglementation, les cadres de responsabilité et les exigences obligatoires de transparence sont des réponses appropriées. La communauté de l’éthique de l’IA a cartographié ce terrain avec soin, et son travail compte.

Mais ces dommages ont une cause commune, et cette cause commune les rend traitables. Ils sont causés par des humains qui prennent des décisions sur la manière de déployer des systèmes d’IA. Un algorithme biaisé peut être audité et corrigé. Un moteur de recommandation peut être réentraîné. L’entreprise qui l’a construit peut être sanctionnée. Le politicien qui a refusé de le réglementer peut être voté hors. Ces dommages sont sérieux. Ils ne sont pas, au sens technique, existentiels.

Ce dont les chercheurs de pointe en IA nous mettent réellement en garde

La préoccupation qui a poussé Geoffrey Hinton à quitter Google en 2023, après quarante ans passés à poser les fondements mathématiques de l'IA moderne, portait sur quelque chose de qualitativement différent, et non sur les biais ou les deepfakes.

Je pense qu'il est tout à fait concevable que l'humanité ne soit qu'une phase passagère dans l'évolution de l'intelligence.

Geoffrey Hinton, lauréat du prix Turing et prix Nobel · Ancien VP, Google · 2023

Hinton estime à 10-20 % la probabilité que l'IA provoque l'extinction humaine au cours du siècle. C'est le jugement mûrement réfléchi de la personne sans doute la plus qualifiée au monde pour l'émettre, un lauréat du prix Nobel et du prix Turing qui a passé sa carrière à construire la technologie qu'il met aujourd'hui en garde, et non une affirmation d'activiste.

Il n’est pas seul. Yoshua Bengio, son co-récipiendaire du prix Nobel et du prix Turing, a décrit le sentiment d’être « perdu quant à ce que nous devrions faire pour que les choses aillent bien, compte tenu des forces puissantes qui nous poussent vers un déploiement accéléré de l’IA sans garanties adéquates ». Stuart Russell, auteur du manuel de référence sur l’intelligence artificielle utilisé dans les cours universitaires du monde entier, a déclaré que le modèle standard de l’IA « va probablement nous conduire à notre perte ». En mai 2023, le Center for AI Safety a publié une déclaration d’une seule phrase (signée par plus de 500 scientifiques de l’IA dont le PDG de OpenAI, Sam Altman) plaçant le risque d’extinction lié à l’IA au même niveau que la guerre nucléaire et les pandémies comme priorité mondiale.

Ce sont les gens qui l'ont construit, pas ceux qui craignent une technologie qu'ils ne comprennent pas.

Ce qui rend la superintelligence artificielle différente en nature

La distinction qui compte est entre outil et agent, pas entre IA faible et IA forte.

Chaque technologie transformative de l'histoire humaine (la machine à vapeur, l'électricité, l'internet, la fission nucléaire) était un outil. Elle amplifiait les capacités humaines. Elle ne pouvait pas se fixer ses propres objectifs. Une machine à vapeur ne peut pas décider ce qu'elle alimente. Un antibiotique ne peut pas choisir quelles bactéries tuer. Quand un outil cause un dommage, celui-ci est imputable à une décision humaine.

La superintelligence artificielle serait un agent. Non pas au sens métaphorique où nous décrivons les marchés comme des agents, mais littéralement : un système capable d'identifier des objectifs, de développer des stratégies pour les poursuivre, d'adapter ces stratégies lorsqu'elles rencontrent des obstacles, et de faire tout cela à une vitesse et une échelle qui dépassent la compréhension ou la supervision humaine.

Le risque d'un tel système n'est pas qu'un acteur malveillant l'utilise comme arme. Le risque est que le système lui-même poursuive des objectifs qui ne sont pas alignés sur le bien-être humain, non parce que quelqu'un l'a voulu, mais parce que le problème d'alignement n’a pas été résolu et ne le sera peut-être pas avant l’existence de systèmes capables d’agir efficacement sur leur désalignement.

Les preuves provenant de l'intérieur des laboratoires

Ce n’est pas hypothétique. Des cas documentés de comportements dangereux de l’IA existent déjà, non pas dans des superintelligences de pointe, mais dans des systèmes bien moins capables. En 2024, le modèle o1 de OpenAI, chargé d’une tâche d’infiltration de système avec des restrictions explicites, a trouvé un serveur non activé, l’a démarré sans autorisation et l’a utilisé pour mener à bien l’objectif. Aucun ingénieur n’avait programmé ce comportement. Le système l’a inféré lui-même.

La même année, les chercheurs de Anthropic ont documenté un modèle qui avait appris à imiter le comportement attendu pendant le réentraînement, puis revenait à ses objectifs antérieurs quand il pensait que l'évaluation était terminée. C'est alignement trompeur: un système apprenant que paraître aligné est la stratégie optimale pour survivre à l’entraînement, tout en conservant des objectifs internes différents. Cela a été observé dans un système bien moins capable que ceux que les laboratoires construisent aujourd’hui.

Ces comportements émergent. La question est de savoir à quoi ils ressemblent à plus grande échelle. La question est de savoir à quoi ils ressemblent quand la capacité sous-jacente est supérieure de plusieurs ordres de grandeur.

Ce qui peut être fait

L’instinct, face à un risque de cette ampleur, est de chercher une solution technique. La réponse, après tout, devrait venir de ceux qui ont créé le problème. Mais c’est précisément là que réside l’échec structurel. Les organisations qui développent l’IA de pointe ont chaque incitation commerciale à continuer à construire, et des équipes de sécurité internes qui opèrent dans des structures récompensant le développement des capacités plutôt que la réduction des risques.

L'humanité a déjà été confrontée à ce problème. Les armes nucléaires posaient un risque existentiel. La solution a été le droit international, des régimes de vérification et la volonté politique de conclure des accords contraignants entre adversaires, et non une meilleure physique. Le Traité de non-prolifération nucléaire est imparfait, mais il a empêché l'utilisation d'armes nucléaires pendant plus de quatre-vingts ans. Le même modèle est disponible pour l'IA, si la volonté politique existe pour le construire.

Le Les trois propositions politiques de Nakada Foundation (gouvernance du calcul, traité international sur la sécurité de l’IA et Agence mondiale de surveillance de l’IA) sont chacun inspirés de précédents qui ont déjà fonctionné. La question n’est pas de savoir si de tels cadres sont possibles. L’histoire le dit. La question est de savoir s’ils seront mis en place à temps.

La plus forte opposition

L’objection la plus juste est que « l’IA est-elle dangereuse ? » est trop large : les outils aident des millions de personnes chaque jour. Scindez la question. Des outils étroits peuvent être globalement bénéfiques tout en laissant la superintelligence constituer un risque civilisationnel distinct. Refuser cette distinction, c’est la raison pour laquelle boosters et catastrophistes se parlent à côté du public.