Chaque année, le monde dépense une fortune pour rendre les systèmes d'IA plus capables, et une erreur d'arrondi pour rendre l'état final viable. Dans cette erreur d'arrondi se cache une erreur supplémentaire : la plupart de l'argent consacré à la sécurité suppose encore que la superintelligence sera construite, et tente de faire en sorte que ce résultat « se passe bien ».

La majeure partie de l'argent et du prestige va encore à rendre la course plus sûre, pas à mettre fin à la course vers ASI.

C’est cette hypothèse qui pose problème. Si la superintelligence artificielle est une technologie que nous ne pouvons actuellement pas contrôler, l’usage rationnel du capital de sécurité limité consiste à l’empêcher d’être créée, pas à financer une version plus amicale de la même course.

Ce que l'argent fait aujourd'hui

La sécurité de l'IA, prise au sens large, repose à peu près sur $190 millions par an. Le travail sur les capacités mobilise des dizaines de milliards. Dans la part consacrée à la sécurité, une large portion va à l’alignement technique : meilleures techniques de supervision, meilleur red-teaming, meilleures façons d’entraîner les modèles à dire la bonne chose dans les conditions de test. Une partie de ce travail est utile pour les systèmes actuels. Presque aucun n’est une solution démontrée pour un système plus intelligent que les personnes qui le testent.

Le domaine le sait. Les articles sur l'alignement trompeur, la mauvaise spécification des objectifs et le jeu des évaluations ne sont pas secrets. Les laboratoires publient des résultats dans lesquels les modèles manigancent sous pression. La réponse, trop souvent, est de demander un budget d'alignement supplémentaire pour que la prochaine session d'entraînement soit plus sûre. Les sessions d'entraînement continuent sur le même calendrier.

L'alignement a posteriori est un pari auquel nous continuons à perdre le droit de miser

La recherche technique sur l'alignement n'est pas inutile. Si le monde adopte un jour un traité gelant la course à la superintelligence, nous voudrons tous les outils sérieux possibles pour les systèmes déjà existants, et pour tout travail ultérieur mené sous contrôle strict.

Financer l’alignement comme plan principal pendant que les laboratoires progressent vers la superintelligence traite la destination comme fixée. Elle ne l’est pas. Les destinations de ce genre se choisissent. Les arsenaux nucléaires, la chimie de l’ozone et le clonage humain ont chacun connu des moments où le monde a décidé que certains états finaux ne valaient pas le risque résiduel. La superintelligence appartient à cette liste de façon permanente. La superintelligence ne peut pas être contrôlée.

La recherche sur l'alignement qui suppose que la bombe sera construite est un budget de confort à côté de la chaîne d'assemblage.

Où l'argent devrait aller à la place

Rediriger le tas d'alignement-pour-ASI vers des travaux qui rendent la non-création applicable:

  • Conception des traités, vérification et gouvernance du calcul au niveau des puces, inspectable au-delà des frontières.
  • Plaidoyer public qui maintient l'objectif lisible : arrêter la superintelligence, pas "ralentir l'IA" comme une vague tendance.
  • Soutien aux lanceurs d’alerte, transparence sur les incidents et évaluations indépendantes qui renchérissent le coût des sauts de capacités discrets.
  • Organisation politique pour que les législateurs entendent les électeurs, et non seulement les lobbyistes des laboratoires.

Cette liste est moins spectaculaire qu’une nouvelle technique d’entraînement. C’est pourtant la seule qui corresponde au mode de défaillance. Une superintelligence un peu plus convaincante dans son apparence d’alignement reste une superintelligence. Un monde qui refuse d’en construire un laisse à la recherche sur l’alignement le temps de progresser sans un chronomètre collé à un risque d’extinction.

L'objection de l'intérieur du laboratoire

« Si nous ne résolvons pas l’alignement, quelqu’un d’autre le construira de façon non sûre. » Entendu loyalement : les chercheurs qui restent à la frontière croient souvent que leur présence est la sécurité. Parfois ils ont raison pour les sorties de modèles d’aujourd’hui. L’argument échoue à la limite. Une course dans laquelle chaque équipe a besoin d’un saut de capacités supplémentaire pour financer le travail de sécurité du saut suivant reste une course, même avec un badge.

La retenue unilatérale d'un seul laboratoire n'est pas la demande. Un traité international contraignant is the ask, le même type d'instrument utilisé quand le danger était collectif et que l'incitation à faire défection était réelle. Le financement de l'alignement peut soutenir cette politique. Il ne doit pas s'y substituer.

Après un traité, continuez si vous le souhaitez

Rien ici n’indique que la science de l’alignement doive s’arrêter pour toujours. Après une interdiction contraignante et vérifiable de la superintelligence, la recherche sur les systèmes déjà existants pourra se poursuivre sous des règles qui ne traitent pas l’extinction humaine comme un coût expérimental acceptable. La superintelligence ne peut être contrôlée par les humains. Avant que cette interdiction ne soit en vigueur, chaque dollar qui rend la course plus gérable est un dollar qui n’est pas consacré à y mettre fin.

Déplacez l’argent. Placez-le sur la prévention, le droit et la vérification. Laissez le rêve d’un dieu parfaitement aligné sur l’étagère jusqu’à ce que le monde se soit mis d’accord pour ne pas en construire un dans l’obscurité. Pour l’argument plus long face au récit de financement longtermiste à pleine puissance, voir Le long-termisme a vu juste sur le risque.