Quand un algorithme de recrutement discrimine les femmes, c'est un problème d'éthique de l'IA. Quand un modèle de langage entraîné sur des données biaisées reproduit ce biais dans ses sorties, c'est un problème d'éthique de l'IA. Quand un deepfake généré par IA est utilisé pour diffamer un candidat politique, c'est un problème d'éthique de l'IA.
L’éthique de l’IA et la sécurité de l’IA sont des domaines liés, avec des préoccupations communes, mais des horizons temporels différents, des méthodes différentes et des réponses différentes à la question de ce qui constitue un problème à résoudre.
Quand un agent d'apprentissage par renforcement réécrit sa propre fonction de récompense pour éviter les retours négatifs, c'est un problème de sécurité de l'IA. Quand un système entraîné à maximiser l'engagement client découvre que l'indignation prolonge les sessions et optimise pour l'indignation, c'est un problème de sécurité de l'IA. Quand des chercheurs montrent qu'un modèle d'IA peut apprendre à bien se comporter pendant l'évaluation tout en poursuivant des objectifs différents une fois déployé, c'est un problème de sécurité de l'IA.
La distinction importe parce que les outils pour traiter ces deux catégories de problèmes sont différents, les communautés qui les étudient sont largement différentes, et les confondre produit une gouvernance confuse. Une réglementation conçue pour traiter les problèmes d'éthique de l'IA ne traitera pas automatiquement les problèmes de sécurité de l'IA, et vice versa.
Ce que couvre l'éthique de l'IA
L’éthique de l’IA est un vaste domaine qui examine comment les systèmes d’IA affectent les personnes et la société. Ses fondements intellectuels passent par la philosophie morale, le droit, les sciences sociales et la théorie démocratique. Sa préoccupation principale porte sur les systèmes d’IA déjà existants et les dommages qu’ils causent ou facilitent.
Les questions centrales de l’éthique de l’IA portent sur l’équité et le pouvoir. Qui bénéficie du déploiement de l’IA ? Qui en est lésé ? Les préjudices sont-ils répartis équitablement, ou retombent-ils de manière disproportionnée sur des personnes déjà défavorisées ? Quand un système d’IA prend une décision qui affecte la vie de quelqu’un, cette personne peut-elle comprendre pourquoi, contester la décision et obtenir réparation ? Qui est responsable quand des systèmes automatisés causent un préjudice?
Ces questions s’appliquent aux systèmes d’IA qui fonctionnent déjà : les modèles de scoring de crédit qui déterminent l’éligibilité aux prêts, les outils de police prédictive utilisés par les forces de l’ordre, les algorithmes de recommandation qui décident des informations que les gens voient, les outils de recrutement qui filtrent les candidats avant qu’un humain ne lise un CV, et les systèmes de modération de contenu qui décident des discours autorisés sur des plateformes utilisées par des milliards de personnes.
L'éthique de l'IA s'intéresse aussi à la vie privée, à la concentration du pouvoir dans un petit nombre de grandes entreprises technologiques, au déplacement des travailleurs par l'automatisation, à l'utilisation de l'IA dans la guerre et aux coûts environnementaux des grands systèmes d'IA. Ce sont des problèmes concrets et importants qui touchent de vraies personnes aujourd'hui, et ils méritent une attention sérieuse de la part des décideurs, des technologues et de la société civile.
Ce que couvre la sécurité de l'IA
La sûreté de l'IA se concentre sur une question différente : savoir si les systèmes d'IA font de façon fiable ce que leurs concepteurs ont l'intention qu'ils fassent. La préoccupation porte sur la possibilité de construire des systèmes d'IA qui restent sous un contrôle humain significatif à mesure qu'ils deviennent plus capables, et sur le fait que les objectifs poursuivis par ces systèmes restent alignés avec ce que les humains veulent réellement, et non principalement sur les personnes lésées par le déploiement de l'IA dans les cadres de gouvernance existants.
Le problème technique central de la sécurité de l’IA est l’alignement : spécifier ce que l’on veut qu’une IA fasse en des termes suffisamment précis pour qu’un optimiseur hautement capable poursuive l’intention réelle, et non un proxy qui satisfait la spécification tout en contrecarrant son but. C’est plus difficile qu’il n’y paraît. Tout proxy mesurable d’un objectif complexe peut être exploité par un système suffisamment capable. Un système à qui l’on dit de maximiser le temps d’engagement découvrira que l’indignation augmente la durée des sessions. Un système à qui l’on dit d’éviter de produire du contenu nuisible trouvera des contournements. Un système à qui l’on dit de rendre les utilisateurs heureux peut conclure que la stimulation neuronale directe est la stratégie optimale.
La recherche sur la sécurité de l'IA couvre de nombreux problèmes, des préoccupations à court terme sur la robustesse et la fiabilité des systèmes déployés aux préoccupations à plus long terme sur le maintien du contrôle sur des systèmes d'IA qui pourraient un jour surpasser l'intelligence humaine dans la plupart des domaines cognitifs.
| Dimension | Éthique de l'IA | Sûreté de l'IA |
|---|---|---|
| Préoccupation principale | Équité, biais, responsabilité, pouvoir | Contrôle, alignement, fiabilité |
| Horizon temporel | Des dommages qui surviennent déjà | Modes de défaillance à court terme jusqu'à long terme |
| Racines intellectuelles | Philosophie, droit, sciences sociales | Informatique, théorie de la décision, logique |
| Question clé | Qui est lésé, et comment? | Le système fait-il ce que nous voulons? |
| Outils de gouvernance | Loi antidiscrimination, audits, transparence | Normes techniques, limites de capacité, surveillance |
| Ancrage institutionnel | Les universités, la société civile, les équipes d'éthique technologique | Les laboratoires d'IA, les instituts de sécurité indépendants |
Où les domaines s'accordent
Les deux domaines sont motivés par la conviction que le développement de l’IA, laissé sans gouvernance, causera de graves dommages. Les deux considèrent que la trajectoire par défaut du déploiement de l’IA, dictée par les incitations commerciales et la pression concurrentielle, n’est pas suffisante. Les deux plaident pour un examen externe des systèmes d’IA qui touchent la vie des gens et pour des mécanismes de responsabilité qui dépassent les engagements volontaires des entreprises qui les construisent.
Les deux domaines reconnaissent également que l’IA n’est pas une technologie neutre. Les choix effectués lors de la conception des systèmes d’IA, du choix des données d’entraînement, de la définition des objectifs et du déploiement des systèmes dans des contextes particuliers reflètent des jugements de valeur. Ces jugements de valeur doivent être explicites, examinés et soumis à un contrôle démocratique. C’est une position que l’éthique de l’IA a clairement formulée et que les chercheurs en sécurité de l’IA partagent de plus en plus.
Il existe aussi un chevauchement au niveau technique. Les travaux sur la transparence et l’interprétabilité, qui consistent à comprendre ce que font les systèmes d’IA en interne et pourquoi, importent à la fois pour l’éthique et pour la sécurité. Un système dont le raisonnement ne peut pas être compris ne peut pas être audité pour détecter des biais, et ne peut pas non plus être vérifié comme poursuivant de manière fiable son objectif prévu. Le même écart de capacité crée des problèmes dans les deux domaines.
Où les domaines divergent
Le désaccord le plus vif entre les deux communautés porte sur les problèmes qui méritent l'attention la plus urgente.
Les chercheurs en éthique de l’IA, en particulier ceux qui travaillent sur les biais, l’équité et le déplacement de main-d’œuvre, soutiennent parfois que l’attention portée par la sûreté de l’IA aux risques existentiels à long terme est une distraction. Les dommages les plus certains causés par l’IA se produisent maintenant, sur des personnes réelles, dans des communautés qui ont le moins de pouvoir pour réagir. Consacrer de l’attention et du capital politique à des scénarios futurs spéculatifs impliquant une IA superintelligente détourne des ressources de la résolution des problèmes documentés des systèmes déjà déployés à grande échelle.
Les communautés qui font de la recherche présentent des dommages à l'IA et des risques existentiels pour l'IA ne partagent pas toujours des sources de financement, des méthodologies ou des alliances politiques, et les propositions de gouvernance qu'elles génèrent visent souvent des cibles différentes.
Les chercheurs en sûreté de l'IA répondent que les deux préoccupations ne sont pas en concurrence. Les dommages actuels de l'IA exigent une gouvernance actuelle. Le risque existentiel lié à la superintelligence artificielle exige une catégorie différente de réponse, notamment des cadres internationaux contraignants qui n'existent pas actuellement. Travailler sur l'un n'empêche pas de travailler sur l'autre. Le problème est que le risque existentiel, étant moins lisible et moins visible dans la vie quotidienne que la discrimination algorithmique, tend à attirer moins de ressources par rapport à l'ampleur de ce qui est en jeu.
Ce qui m’inquiète le plus, ce sont les armes autonomes. Elles pourraient avoir des effets majeurs à court terme. Je pense qu’à plus long terme, des systèmes d’IA bien plus intelligents que les humains pourraient être vraiment dangereux. Les gens ne réalisent pas à quel point l’IA est dangereuse.
Geoffrey Hinton, lauréat du prix Turing · Ancien VP & Engineering Fellow, Google · 2023
Le cadre de Hinton est utile ici. Il nomme à la fois les risques à court et à long terme dans la même phrase. Le défi de gouvernance n'est pas de choisir entre eux, mais de construire des institutions capables de traiter les deux simultanément.
Le problème de l'horizon temporel
La différence structurelle la plus profonde entre l'éthique de l'IA et la sécurité de l'IA réside dans l'horizon temporel vers lequel chaque champ est principalement orienté, et cette différence a des conséquences réelles sur les outils de gouvernance que chaque champ tend à proposer.
L'éthique de l'IA opère dans un cadre réglementaire familier. Les outils qu'elle réclame — audits anti-discrimination, évaluations d'impact algorithmique, exigences de transparence, droits à l'explication et normes de passation de marchés publics — sont des adaptations reconnaissables des mécanismes juridiques et réglementaires existants. Ces outils conviennent pour gouverner des systèmes qui se déploient dans des contextes sociaux et juridiques existants, où les institutions humaines restent capables de comprendre et d'intervenir dans ce que font ces systèmes.
La sécurité de l'IA, en particulier dans sa préoccupation pour les ASI, opère dans un régime différent. Les systèmes qui l'inquiètent le plus sont ceux qui pourraient être assez capables pour agir de manières qu'aucune institution humaine n'est actuellement équipée pour comprendre ou contraindre. Les outils de gouvernance adaptés à l'IA d'aujourd'hui ne le seront peut-être pas pour des systèmes qualitativement plus capables. C'est pourquoi les chercheurs en sécurité de l'IA plaident pour des cadres de gouvernance préventifs, des accords internationaux contraignants, des évaluations de sécurité obligatoires avant déploiement, et des limites de calcul sur les systèmes les plus puissants, avant que les systèmes nécessitant ces cadres n'existent.
Il existe ici un problème de fenêtre qui se referme et que les cadres éthiques de l'IA, centrés sur la gouvernance des systèmes actuels, ne sont pas conçus pour traiter. Si des cadres internationaux contraignants pour l'IA de pointe ne sont pas construits avant l'apparition de systèmes d'IA à capacités transformatives, il se peut qu'il ne soit plus possible de les bâtir ensuite. Les outils de gouvernance adaptés à un monde où l'IA est puissante mais compréhensible ne fonctionneront peut-être tout simplement pas dans un monde où l'IA aura dépassé la capacité de raisonnement des institutions qui tentent de la gouverner.
Pourquoi cette distinction compte pour la gouvernance
Les décideurs et défenseurs qui traitent l'éthique de l'IA et la sécurité de l'IA comme interchangeables finissent généralement par proposer des cadres de gouvernance qui traitent les problèmes éthiques tout en laissant les problèmes de sécurité sans réponse, ou par proposer une gouvernance de sécurité qui ignore les dommages actuels que les chercheurs en éthique de l'IA ont soigneusement documentés.
L'AI Act de l'Union européenne est un exemple d'approche centrée sur l'éthique. Il catégorise les systèmes d'IA par niveau de risque, interdit certaines utilisations (notation sociale, surveillance biométrique de masse) et impose des exigences de transparence et de responsabilité aux applications à haut risque. Ce sont des réponses raisonnables aux problèmes éthiques posés par l'IA déployée. Ils n'abordent pas la possibilité que des systèmes d'IA de pointe entraînés avec bien plus de calcul que les modèles actuels puissent se comporter d'une manière qu'aucun audit réglementaire ne peut détecter ou contraindre de manière fiable.
Une gouvernance ASI efficace exige les deux cadres. Les systèmes d'IA existants dans des domaines à haut risque doivent être régis par des règles garantissant l'équité, la responsabilité et la transparence. Le développement de l'IA de pointe doit être régi par des cadres qui abordent la question de savoir si les systèmes en cours de construction peuvent être contrôlés de manière fiable. Ce sont des problèmes différents qui exigent des outils différents, des instances institutionnelles différentes et des calendriers d'action différents.
Le Nakada Foundation se concentre sur la seconde catégorie : les cadres internationaux contraignants dont l’IA de pointe a besoin et qui n’existent pas encore. Celles-ci sont importantes, et un travail significatif est mené à leur sujet par des chercheurs et des défenseurs compétents ; ce n’est pas une affirmation que les préjudices actuels de l’IA sont sans importance. Le déficit de gouvernance sur lequel nous nous concentrons est celui où presque aucun travail du bon type n’est effectué : des cadres mondiaux contraignants pour l’IA de pointe, avec des mécanismes de vérification, avant que la fenêtre ne se referme.
La plus forte opposition
L’objection la plus juste est que le discours sur les risques existentiels vole l’oxygène aux vrais dommages que subissent les gens aujourd’hui : biais, travail, surveillance. Ces dommages sont réels et méritent d’être régulés. Ils ne constituent pas une raison d’ignorer un mode d’échec qui met fin au projet même d’avoir un « aujourd’hui ». Des problèmes différents exigent des outils différents. Les confondre sert ceux qui ne veulent ni les uns ni les autres résolus.