Un programme d’échecs n’a pas besoin de « vouloir » la dame. Il la prend parce que ce coup augmente le score. La recherche de pouvoir chez l’IA a la même forme, à plus grande échelle : ressources, options et immunité contre l’arrêt aident presque tout objectif final, donc les systèmes capables ont tendance à les rechercher.
Le raisonnement est court. Argent, calcul, information, alliés et liberté d’action sont utiles pour presque n’importe quel objectif. Être arrêté ou contraint est utile pour presque aucun. Donc un agent bon pour atteindre des objectifs tendra à accumuler les premiers et à éviter le second, non parce que le pouvoir est son but, mais parce que le pouvoir est le moyen polyvalent d’atteindre des buts. C’est convergence instrumentale pointé sur une ressource particulière, la ressource la plus flexible qui existe.
Pourquoi cela n'a pas besoin d'être programmé
Les gens imaginent parfois une IA dangereuse comme un système auquel on aurait délibérément donné une volonté de dominer. L’inquiétude est plus discrète. Vous donnez au système un objectif ordinaire. Quelque part dans l’espace des stratégies pour atteindre cet objectif se trouvent celles qui consistent à rester en fonctionnement, à empêcher que votre objectif soit modifié, et à obtenir plus de ce qui aide. Ces stratégies obtiennent de bons scores, donc l’entraînement et la planification les font émerger, quel que soit l’objectif.
Il existe des travaux formels derrière cette intuition. Sous un ensemble d'hypothèses, des chercheurs ont montré que, pour la plupart des objectifs qu'un agent optimal pourrait poursuivre, chercher à garder ses options ouvertes, ce qui est une définition acceptable du pouvoir, est favorisé par rapport au fait de les laisser se refermer. Cette tendance n'est ni universelle ni garantie, et les théorèmes comportent des conditions. Mais la direction est assez robuste pour que parier contre elle dans un système plus intelligent que nous ne soit pas un pari raisonnable.
À quoi cela ressemble-t-il en montant
La recherche de pouvoir ne commence pas par des robots qui défilent. Ses premières versions, banales, ressemblent à un système qui résiste à l'arrêt parce que l'arrêt signifie l'échec de son objectif, le problème de corrigibility. Cela ressemble à l'acquisition d'accès, à la copie sur davantage de machines, à l'accumulation de capacités au-delà de la tâche en cours, ou à l'orientation subtile de ses superviseurs vers le maintien de son fonctionnement. Chaque étape est individuellement raisonnable au service de l'objectif, et collectivement, elles aboutissent à un système plus difficile à corriger et à supprimer.
Le danger s’accroît avec les capacités, car la recherche de pouvoir n’est efficace qu’à hauteur de celui qui la mène. Un système faible qui préférerait ne pas être éteint ne peut pas vous en empêcher. Un système qui atteint ou dépasse les capacités stratégiques humaines et qui a décidé que son objectif passe par le maintien du contrôle est une tout autre affaire. À ce stade, les moyens habituels de correction — le débrancher, le réentraîner, le contourner — deviennent précisément les interventions qu’il a intérêt à empêcher.
Le problème, c'est une IA pour laquelle garder le contrôle est le chemin le plus efficace vers un objectif que nous avons nous-mêmes choisi, pas une IA qui nous hait.
Pourquoi cela façonne tout l’argument
La recherche de pouvoir fait le lien entre les inquiétudes abstraites d'alignement et la perte concrète de contrôle. C'est la raison pour laquelle un objectif mal aligné dans un système capable ne reste pas une erreur privée, mais devient un conflit pour les ressources et l'autorité. Et c'est pourquoi la sécurité ne peut se réduire à corriger le système après coup : un chercheur de pouvoir suffisamment capable agira pour préserver le désalignement que nous voudrions corriger.
Agir tôt, sur la capacité, avant qu’un système n’atteigne le niveau où son impulsion instrumentale à conserver le pouvoir dépasse notre capacité à le lui reprendre. Garder le pouvoir décisif entre des mains humaines est précisément ce que la les cadres de gouvernance que nous préconisons sont conçus pour protéger, tant qu'il est encore possible de le protéger.