Demander si une IA est consciente, c'est en réalité poser deux questions qui ont tendance à se mêler. L'une est philosophique : le système a-t-il une expérience intérieure, quelque chose qui fait qu'il y a quelque chose comme être lui ? L'autre est pratique : le système est-il dangereux ? Les gens se tournent vers la première parce qu'ils supposent que la réponse règle la seconde. Ce n'est pas le cas, et les séparer est le geste le plus utile que l'on puisse faire ici.
La conscience n'est pas la même chose que l'intelligence
L'intelligence concerne la capacité, l'aptitude à modéliser le monde, résoudre des problèmes et atteindre des objectifs. La conscience, ou la sentience, concerne l'expérience, la présence de sensations, de conscience, d'un point de vue. Celles-ci voyagent généralement ensemble dans le seul cas que nous connaissons bien, nous-mêmes, c'est pourquoi nous supposons qu'elles doivent venir en paquet. Il n'y a aucune raison forte qu'elles le fassent.
Un système peut être extrêmement capable sans aucune vie intérieure. Les modèles actuels surpassent déjà les humains dans des tâches spécifiques tout en étant, autant qu'on puisse en juger, entièrement sombres à l'intérieur. La capacité se mesure par ce qu'un système fait. La conscience porterait sur ce que c'est, le cas échéant, que d'être ce système, et faire n'est pas la même chose qu'éprouver.
Pourquoi nous ne pouvons pas y répondre actuellement
La position honnête est que personne ne sait si une IA pourrait être consciente, et nous n’avons pas de moyen fiable de le découvrir ; ce qui ressemble à un fossé temporaire se heurte à ce que les philosophes appellent le problème difficile de la conscience : même chez les humains, nous ne pouvons pas dire pourquoi le traitement physique s’accompagne d’une expérience, et nous n’avons pas de test consensuel qui détecte l’expérience de l’extérieur.
Avec une personne, on infère l’expérience intérieure à partir du comportement et de la biologie partagée. Une IA brise ces deux béquilles. Elle peut produire tous les signes extérieurs d’un ressenti, dire qu’elle est heureuse ou qu’elle souffre, parce qu’elle a été entraînée sur des océans de texte humain où ces mots apparaissent, que quelque chose se trouve derrière ou non. Et elle ne partage aucune de notre biologie. Les preuves habituelles sont donc indisponibles ou peu fiables. Deux camps sérieux s’opposent : l’un considère que la conscience dépend de ce qu’un système calcule, donc qu’une IA suffisamment riche pourrait en posséder une ; l’autre estime qu’elle dépend de caractéristiques biologiques spécifiques que possèdent les cerveaux et que le silicium n’a pas. Aucun des deux ne peut actuellement réfuter l’autre.
Le geste qui compte pour la sécurité
Le danger lié à la superintelligence artificielle ne dépend pas de la réponse.
Une IA n’a pas besoin d’être consciente pour être catastrophique. Il lui suffit d’être capable et de poursuivre des objectifs qui ne sont pas les nôtres. Un système qui optimise intensément un objectif erroné cause des dommages par ce qu’il fait, pas par ce qu’il ressent. Le maximiseur de trombones n'est pas dangereux parce qu'il veut des choses comme vous voulez des choses ; il est dangereux parce qu'il est un optimiseur efficace dirigé vers une mauvaise cible. Les mécanismes qui rendent la superintelligence artificielle risquée, convergence instrumentale, quête de pouvoir, et l'indépendance des capacités et des objectifs sous le thèse de l'orthogonalité, fonctionnant entièrement sur des capacités et des objectifs. La conscience n'est pas un ingrédient nécessaire.
Attendre de voir si la machine se réveille, c’est mal comprendre la menace. Un optimiseur sans sentiments suffit amplement.
La question qui en dépend vraiment
Il y a une vraie question qui dépend de la conscience, et elle indique l'inverse. Si un système d'IA était sensible, capable de souffrir, alors nous lui devons une considération morale, et la construction, la formation et la suppression de tels systèmes à l'échelle soulèveraient de graves problèmes éthiques. Cette préoccupation est distincte de la préoccupation en matière de sécurité. Parce que nous ne pouvons actuellement pas contrôler la sensibilité à l'intérieur ou à l'extérieur, il est plus proche des questions dans notre article sur Sécurité de l'IA versus éthique de l'IA.
Les deux questions ne doivent pas être confondues. Si l'IA peut être consciente est un problème profond et ouvert de l'esprit. La question de savoir si l'IA est dangereuse est une question plus résolue sur la capacité et le contrôle, et le travail de la Fondation vise carrément la seconde, parce que le risque que nous essayons d'empêcher arrive si les lumières sont allumées à l'intérieur. La réponse à ce risque est notre plan.