La plupart des discussions sur la sécurité de l’IA se concentrent sur le scénario où les systèmes d’IA poursuivent des objectifs manifestement mauvais, des objectifs qui mènent directement à un préjudice humain. Le verrouillage des valeurs est un scénario plus subtil et, à certains égards, plus troublant : l’encodage permanent d’objectifs qui semblent bons au moment de l’encodage, mais qui ferment la possibilité du progrès moral qui les aurait finalement améliorés.
Le verrouillage des valeurs rend ces corrections impossibles.
Le concept est simple. Un système d'IA superintelligente, ou une entité dotée d'IA, acquiert un contrôle suffisant sur les ressources et les systèmes mondiaux pour imposer de manière permanente les valeurs qui lui ont été données ou qu'elle a adoptées. À partir de ce moment, ces valeurs façonnent tous les résultats, sans possibilité de révision. Le verrouillage peut se produire délibérément (un acteur encode intentionnellement ses valeurs) ou accidentellement (un système maximise son objectif si complètement qu'il exclut toute possibilité d'alternatives). Dans les deux cas, l'avenir se fige.
L'argument historique contre tout verrouillage
L’argument le plus puissant contre le verrouillage des valeurs n’est pas philosophique mais historique. Regardez deux siècles en arrière et examinez ce que les gens de cette époque considéraient comme des vérités morales évidentes. L’esclavage était légalement et socialement accepté dans la majeure partie du monde, y compris dans des nations dotées de traditions philosophiques sophistiquées et d’engagements explicites envers la dignité humaine. Le statut juridique des femmes comme propriété de leurs maris ou pères était universel. Les pratiques aujourd’hui reconnues comme de la torture étaient des éléments standards des systèmes de justice pénale. Les enfants n’avaient aucun droit contre leurs parents ou employeurs.
Les gens de ces époques n’étaient pas particulièrement malveillants. Beaucoup étaient des personnes réfléchies, moralement sérieuses, qui raisonnaient avec soin sur l’éthique. Ils sont parvenus à des positions catastrophiquement fausses selon tout critère contemporain. Et ils étaient certains que leurs valeurs étaient saines, cette même certitude morale qui rendait le verrouillage acceptable à beaucoup d’entre eux.
Le schéma se poursuit. Il y a un siècle, presque toutes les sociétés occidentales professaient des vues explicites sur la hiérarchie raciale qui sont aujourd'hui reconnues comme factuellement fausses et moralement grotesques. Il y a cinquante ans, l'homosexualité était classée comme maladie mentale dans les principales références médicales. Les erreurs morales des générations précédentes sont évidentes avec le recul. Il serait remarquable que notre époque ait enfin atteint la perfection morale et n'ait plus d'erreurs comparables à corriger à l'avenir.
Si les valeurs actuelles contiennent des erreurs (et le schéma historique suggère que c’est le cas), alors encoder ces valeurs de façon permanente, c’est encoder ces erreurs de façon permanente. Les générations futures qui auraient découvert et corrigé ces erreurs n’auront aucun mécanisme pour le faire. Le verrouillage préserve tout ce qui se trouve dans nos valeurs actuelles, le bon comme les erreurs, pour toujours.
Pourquoi même un verrouillage bienveillant est dangereux
Une réponse courante aux préoccupations liées au verrouillage des valeurs est : « Et si les valeurs verrouillées étaient vraiment bonnes ? » La réponse passe à côté du problème. L'évaluation selon laquelle les valeurs sont « vraiment bonnes » doit elle-même être faite en utilisant les valeurs en question. Il n'existe pas de point de vue externe permettant d'évaluer si les valeurs actuelles sont assez bonnes pour justifier un encodage permanent. La même certitude morale confiante qui rend le verrouillage acceptable a historiquement été la caractéristique que le progrès moral ultérieur a jugé la plus nécessaire à réviser.
L’argument du gaspillage astronomique de Nick Bostrom fait valoir ce point différemment. L’avenir accessible à l’humanité, sur des échelles de temps cosmiques, implique un nombre presque inconcevable de vies et d’expériences possibles. Même un petit écart systématique par rapport aux valeurs optimales, appliqué à cette échelle, représente une perte bien plus grande que tout ce qui peut survenir au cours d’une vie humaine. Un verrouillage sur des valeurs correctes à 99 % selon un certain idéal reste un résultat catastrophique au regard de l’échelle de ce que l’avenir pourrait contenir.
Le lien avec le contrôle démocratique
Le verrouillage des valeurs est l'une des raisons centrales pour lesquelles surveillance démocratique et internationale de l'IA superintelligente compte tellement. Toute entité unique (une entreprise, un gouvernement, même une fondation bien intentionnée) dont les valeurs sont encodées de façon permanente dans un système superintelligent produit un verrouillage, quelle que soit la qualité apparente de ces valeurs au moment donné.
L'alternative n'est pas d'identifier les bonnes valeurs et de les encoder à la place. Personne ne peut le faire de manière fiable, et les précédents historiques suggèrent qu'une grande confiance dans le fait d'avoir trouvé les bonnes valeurs est elle-même un signal d'alarme. L'alternative consiste à préserver les conditions permettant à un progrès moral de se poursuivre : pluralisme, diversité des perspectives, mécanismes de révision pacifique des normes, et aucune entité unique dotée du pouvoir d'imposer durablement ses valeurs à tous les autres.
C'est l'argument structurel en faveur d'une gouvernance démocratique de l'IA superintelligente qui va au-delà de l'argument instrumental (elle produit de meilleurs résultats). La supervision démocratique préserve les conditions d'un progrès moral continu, indépendamment des valeurs spécifiques détenues à un moment donné. Le Propositions de gouvernance de la Fondation sont construits autour de cette idée : le but n'est pas de garantir que les bonnes valeurs prennent le contrôle, mais d'empêcher qu'un seul ensemble de valeurs (aussi bien intentionné soit-il) n'obtienne un contrôle permanent et irréversible.