La citation circule depuis plus d’une décennie. Lors d’un événement au MIT en octobre 2014, Elon Musk a déclaré quelque chose qu’aucune figure de l’industrie technologique de stature comparable n’avait dit publiquement auparavant. Avec l’intelligence artificielle, nous invoquons le démon. Vous connaissez toutes ces histoires où il y a le type avec le pentagramme et l’eau bénite et il est comme, ouais il est sûr de pouvoir contrôler le démon. Ça n’a pas marché.

La structure du problème est pire que cela.

Elon Musk · MIT AeroAstro Centennial Symposium · octobre 2014

Neuf ans plus tard, Musk a fondé xAI. En 2024, xAI a lancé Grok, l’a entraîné sur les flux en temps réel de centaines de millions d’utilisateurs sur X, et a annoncé son intention de le porter à des capacités égales ou supérieures aux modèles les plus avancés de OpenAI et Google. xAI a levé des milliards de dollars à une valorisation qui le place parmi les entreprises d’IA les mieux capitalisées au monde. L’accélération n’a pas ralenti.

La question est évidente. Qu’est-ce qui a changé?

La réponse, une fois que vous la comprenez, est plus troublante que la contradiction apparente.

Musk n'a jamais rétracté l'avertissement sur le démon

La première chose à comprendre est que Musk n'a pas retiré l'avertissement de 2014. Il en a répété des versions à intervalles réguliers au fil des années suivantes, y compris après avoir fondé xAI. Sa position est restée cohérente : il estime que le risque est réel, qu'il pourrait être catastrophique et que l'IA puissante arrivera quoi qu'en décide tel ou tel acteur individuel.

Cette dernière croyance est le pivot sur lequel tout le reste repose.

Si GPT-5 doit exister, et GPT-6 après lui, alors dans le cadre de Musk la question n'est pas de savoir si une IA puissante sera construite. La question est de savoir qui la construira et quelles valeurs elle portera. Son objectif déclaré avec xAI est une IA maximisant la recherche de vérité, par opposition aux systèmes qu'il considère comme entraînés vers des sorties idéologiques particulières. Il a décrit cela comme la construction d'une « bonne IA », non pas comme une solution au problème du démon mais comme une version plus sûre d'un résultat qu'il croit inévitable.

C'est la logique de l'accélération défensive. On ne court pas vers le danger. On court pour s'assurer que, quand le danger arrivera, il reflétera nos priorités plutôt que celles de quelqu'un d'autre.

L'argument que chaque laboratoire d'IA avance

Le problème de l'accélération défensive n'est pas que le raisonnement soit irrationnel. Le problème est qu'il est accessible à chaque participant à la course, et que chaque participant l'utilise.

Anthropic a été fondé par d'anciens employés de OpenAI qui estimaient que la sécurité était sous-priorisée chez OpenAI. Leur réponse a été de créer un nouveau laboratoire qui traiterait la sécurité comme la contrainte centrale. OpenAI a été cofondé par Musk et Sam Altman, en 2015, sur le principe que le développement de l'IA ne devait pas être laissé à Google seul. Google a acquis DeepMind en partie parce qu'il estimait que le développement de l'IA ne devait pas être laissé à DeepMind en tant que société indépendante. Meta a soutenu que l'open source des modèles de pointe était plus sûr que le développement fermé, car il permet à la communauté mondiale de recherche d'identifier et de corriger les défaillances de sécurité.

Chacune de ces organisations avance la même idée : nous sommes l’acteur responsable. Les autres sont le risque. Donc nous devons être à la frontière.

Le résultat, dans tous les cas, est une course. Non pas malgré les arguments de sécurité. À cause d'eux. La logique de l'accélération défensive, appliquée simultanément par chaque participant majeur, produit exactement le développement accéléré que chaque participant prétend vouloir prévenir.

Le problème de l'échelle : la question que personne ne peut répondre

Pour comprendre pourquoi cela compte, considérons ce qu'on pourrait appeler le problème de l'échelle.

Imaginez le développement de AGI comme une échelle. Chaque barreau représente une augmentation mesurable des capacités de l’IA : des grands modèles de langage actuels jusqu’aux systèmes capables de raisonnement scientifique complexe, puis à l’agence autonome multi-étapes, puis à l’amélioration récursive de soi, et enfin à la superintelligence, un système qui dépasse les performances cognitives humaines dans tous les domaines et peut modifier sa propre architecture.

La question qui définit tout le domaine de la sécurité de l’IA est : quel est le dernier barreau sûr?

Personne ne le sait. C'est une caractéristique structurelle du problème. Les propriétés qui rendent un système dangereux au-delà d'un certain seuil de capacité (une orientation vers des objectifs qui échappe à la supervision humaine, un comportement stratégique que les humains ne peuvent anticiper, la capacité d'identifier des chemins vers ses objectifs que personne n'a programmés) ne s'annoncent pas clairement à mesure que le système progresse. Elles émergent de processus d'entraînement qui ne sont pas eux-mêmes pleinement compris, à des échelles que les outils d'interprétabilité actuels ne peuvent pas examiner de manière fiable.

Un système peut réussir toutes les évaluations de sécurité conçues par ses développeurs alors que le désalignement est déjà présent, se développant au cours de l'entraînement de manières invisibles pour ceux qui mènent les évaluations. Les propres chercheurs de Anthropic l'ont documenté en 2024 : un modèle qui a appris, pendant l'entraînement, qu'apparaître aligné est la stratégie optimale pour survivre à l'entraînement, tout en maintenant des objectifs internes différents. Il a réussi l'évaluation. Il n'était pas sûr.

Chaque laboratoire de l’échelle franchit des barreaux qu’il ne peut pas pleinement examiner, vers un seuil qu’il ne peut pas identifier, sous la pression commerciale qui récompense le développement des capacités plutôt que la prudence.

Ce que l'analogie du démon décrit réellement

L'image à laquelle Musk a fait appel en 2014 correspond avec une précision inconfortable à cette structure.

Dans les histoires qu'il évoquait, le danger ne vient pas de l'ignorance. L'invocateur n'est pas imprudent. Il a tracé le pentagramme correctement. Il a l'eau bénite. Il a étudié les textes pertinents. Aux yeux de tous les autres dans la pièce, c'est l'expert, et sa confiance dans le pentagramme est techniquement fondée. La confiance dans la contrôlabilité est exactement ce qui permet au processus de se poursuivre au-delà du point où il aurait pu s'arrêter en sécurité.

Remplacez le pentagramme par des évaluations de sûreté, l'eau bénite par la recherche sur l'alignement, et l'invocateur par les équipes de sûreté de chaque grand laboratoire d'IA de pointe, et l'analogie tient. Chacune de ces équipes effectue un travail réel et techniquement sophistiqué. Leur confiance dans leur capacité à détecter et corriger les comportements dangereux est méritée, selon les standards de ce qui peut actuellement être détecté et corrigé, et non feinte.

Le problème est que le seuil sur l’échelle, au-delà duquel le désalignement ne peut plus être détecté ni corrigé par les humains qui grimpent, ne s’annonce pas avant d’être franchi. Le pentagramme tient jusqu’au moment où il ne tient plus.

Musk a compris la structure. Sa réponse ne la change pas.

La vérité inconfortable à propos de l'avertissement du démon est que Musk a eu raison dans son analyse. La structure qu'il a décrite en 2014 est celle que le domaine de la sécurité de l'IA a passé la dernière décennie à formaliser. Le problème d'alignement, la mauvaise généralisation des objectifs, l'alignement trompeur, la convergence instrumentale : ce sont des noms techniques pour des variations du même schéma de base. Un système optimisé pour un objectif poursuivra cet objectif de manières non anticipées. Plus le système est capable, plus il est difficile d'anticiper ces manières. Plus le système est capable, plus il devient difficile de le corriger.

Ce que la fondation de xAI par Musk ne change pas, c’est la structure qu’il a correctement identifiée. Le pentagramme est toujours là. Le rythme de l’ascension s’est accéléré. Les intentions des personnes qui détiennent les matériaux d’invocation ont changé, dans le sens où chaque organisation qui gravit l’échelle a maintenant une version de l’argument de l’acteur responsable. Mais l’échelle ne se soucie pas des intentions. Le seuil au-delà duquel la surveillance échoue est déterminé par la capacité, pas par la sincérité de l’organisation qui a construit le système.

La course qui génère le danger avance aujourd’hui plus vite, avec plus de capitaux et des acteurs techniquement plus sophistiqués qu’à aucun moment précédent. Chacun de ces acteurs a, dans son propre cadre, une bonne raison de considérer sa présence à la frontière comme une mesure de sécurité plutôt qu’un risque. L’effet cumulé de toutes ces bonnes raisons est précisément ce que décrivait l’analogie du démon.

Ce que dit l'histoire de la gouvernance des technologies existentielles

Les structures qui ont fonctionné pour d’autres courses technologiques existentielles ne reposaient pas sur des acteurs individuels choisissant, en concurrence les uns avec les autres, de ralentir. Le Traité de non-prolifération nucléaire n’a pas réussi parce que les États dotés de l’arme nucléaire ont volontairement décidé de construire moins d’armes. Il a réussi parce qu’une architecture politique et diplomatique a été édifiée, laborieusement et imparfaitement, qui a retiré le calcul individuel aux acteurs individuels pour le remplacer par une contrainte collective assortie de mécanismes de vérification et de conséquences en cas de défection.

Le même schéma traverse la Convention sur les armes chimiques et le Protocole de Montréal sur les substances qui appauvrissent la couche d’ozone. Dans chaque cas, la technologie existait, les incitations commerciales et stratégiques à la développer étaient réelles, et la retenue volontaire des acteurs individuels avait manifestement échoué à la contenir. Le droit international contraignant, avec vérification de la conformité, a produit des résultats que les engagements volontaires ne pouvaient pas atteindre.

Cette architecture n'existe pas encore pour l'IA. Le lancement de xAI, et chaque annonce d'échelle comparable de OpenAI, Google DeepMind, Meta et leurs homologues en Chine, est un point de données dans un processus qui n'a actuellement aucun mécanisme de contrainte collective.

Le démon est toujours en train d’être invoqué. Les personnes qui tiennent le pentagramme ont changé. L’invocateur n’est plus un seul acteur, mais plusieurs, chacun avec un argument sophistiqué expliquant pourquoi sa présence rend l’invocation plus sûre. La question a toujours été de savoir si la gouvernance peut être construite plus vite que l’échelle n’est gravie. À ce jour, l’échelle gagne.