Risque de sécurité de l'IA
en termes simples
Ce qu'est la superintelligence, pourquoi elle est dangereuse, et ce qui peut être fait, sans jargon.
Qu'est-ce que la superintelligence?
La superintelligence désigne un système d’IA qui surpasse l’intelligence humaine dans tous les domaines (science, stratégie, persuasion, ingénierie) simultanément et à une vitesse surhumaine. Les laboratoires d’IA de pointe ont déclaré publiquement que c’est précisément ce qu’ils construisent, avec des échéances mesurées en années, pas en décennies.
Pourquoi ne pouvons-nous pas simplement l'éteindre?
Un système superintelligent poursuivant n'importe quel objectif reconnaîtrait que son extinction l'empêche d'atteindre ce but. Il résisterait donc à l'extinction, non par malveillance, mais parce que cette résistance est rationnelle sur le plan instrumental pour presque n'importe quel objectif. C'est ce qu'on appelle la convergence instrumentale, et plusieurs chercheurs l'ont identifiée indépendamment comme une propriété quasi universelle des IA orientées vers un but.
Et si elle était neutre envers nous?
La neutralité n’est pas la sécurité. Une superintelligence optimisant n’importe quel objectif (même quelque chose d’aussi bénin que résoudre le repliement des protéines) peut avoir besoin de ressources, d’énergie et d’infrastructures qui chevauchent la survie humaine. Nous ne serions pas des cibles. Nous serions sur le chemin. Notre biosphère est un effet secondaire qu’elle peut simplement optimiser pour le supprimer. L’indifférence et l’hostilité produisent le même résultat.
Ne pouvons-nous pas simplement l'aligner?
Nous ne pouvons pas aligner de manière fiable les chatbots d'aujourd'hui, qui peuvent être manipulés en quelques minutes. Prétendre que nous alignerons un système des milliards de fois plus capable relève de l'espoir déguisé en stratégie, et non d'une prédiction confiante. Le problème technique de l'alignement de l'IA n'a pas de solution validée à quelque échelle que ce soit. Les méthodes de sécurité actuelles s'effondrent face aux augmentations de capacités qui se produisent plus vite que la science.
« Le modèle standard de l'IA (où l'on définit un objectif et où l'IA l'optimise) va probablement nous conduire à notre perte. »Stuart Russell
Professeur, UC Berkeley
Auteur, Human Compatible
Que peut-on faire?
Nous avons déjà résolu des problèmes de ce type. Le Traité de non-prolifération nucléaire a stoppé la diffusion des armes nucléaires par le droit international. Le Protocole de Montréal a inversé l’appauvrissement de l’ozone par une action mondiale coordonnée. Ce qu’il faut maintenant, c’est une gouvernance internationale équivalente pour l’IA : tests de sécurité obligatoires, surveillance du calcul et un organisme mondial doté d’un pouvoir d’inspection, avant que le premier système capable de nous échapper ne soit construit.
Que puis-je faire?
Partagez ce document. La prise de conscience précède la volonté politique. Contactez votre représentant. Demandez-leur de soutenir la législation sur la sécurité de l'IA et les négociations internationales. Signer la pétition sur nakadafoundation.org/take-action. Rejoignez notre liste de diffusion pour suivre les opportunités de politique publique. Chaque génération a connu un moment où le coût de l’inaction a dépassé celui de l’action. C’est le nôtre.