Tous les quelques mois, un nouveau laboratoire ou une nouvelle fondation annonce des fonds supplémentaires pour la recherche sur l’alignement. L’argument est sincère. Si nous allons construire des systèmes plus intelligents que nous, nous ferions mieux de nous assurer qu’ils veulent ce que nous voulons. Je respecte les personnes qui font ce travail. J’acquiesçais autrefois. Puis j’ai formulé l’objectif à voix haute, en français clair.
Résoudre l’alignement, dans la limite qui intéresse le domaine, signifie contrôler de manière fiable quelque chose de bien plus intelligent que tous les humains impliqués dans sa construction. Pas une calculatrice. Pas un replieur de protéines. Un esprit général qui nous surpasse dans tous les domaines. Nous avons même nommé la cible: superintelligence.
Ce nom fait plus de travail que les articles.
Ce que le mot admet déjà
Super signifie au-dessus. L’intelligence est ce que nous utilisons pour inventer des outils, repérer des failles et remporter des concours face à des esprits plus faibles. Si vous construisez un système qui vous surpasse dans ces jeux, vous avez créé quelque chose de meilleur que vous aux compétences exactes dont vous auriez besoin pour le tenir en laisse.
Les gens parlent encore comme si l’alignement était un correctif logiciel qui atterrit avant que le système ne s’en aperçoive. Vous essayez d’écrire des règles pour un joueur qui finira par être meilleur que vous aux règles. Vous essayez de tester un élève qui finira par être meilleur aux tests que l’examinateur. Vous essayez de superviser un employé qui finira par comprendre le lieu de travail, les incitations et vos angles morts mieux que vous.
Ne l'appelez pas un plan de sûreté pour l'espèce.
Ce qu'ils se disputent
La capacité va continuer à augmenter, que cela nous plaise ou non. Le refus unilatéral d'un laboratoire n'arrête pas les autres. Sur ce point, la seule démarche responsable consiste à obtenir le meilleur résultat possible pour définir les objectifs, détecter la tromperie et maintenir les systèmes corrigibles, de sorte que si un système dangereux apparaît, nous avons une chance. Certains de ces travaux aident déjà les modèles d'aujourd'hui. Ignorer ça serait imprudent.
J'accepte la moitié étroite. Le travail de sécurité sur des systèmes que nous pouvons encore inspecter et arrêter est une véritable ingénierie. Ce que je n'accepte pas, c'est le saut de l'aide apportée aux modèles d'aujourd'hui à l'idée que nous pourrions donc aligner une superintelligence assez solidement pour y miser la civilisation. Ce saut introduit en fraude l'hypothèse que le contrôle s'adapte à la chose contrôlée. L'histoire et le bon sens vont dans l'autre sens. Plus l'autre joueur est intelligent, moins votre plan ingénieux ressemble à un plan et plus il ressemble à une énigme.
Le contrôle exige l'avantage
Toute relation de contrôle durable que nous connaissons repose sur un avantage : la force physique, l'autorité légale, une information que l'autre partie ne possède pas, ou la capacité d'éteindre le système. La superintelligence, par définition, érode ces avantages. Si elle peut vous modéliser mieux que vous ne la modélisez, vos tests deviennent du théâtre. Si elle peut agir plus vite et plus largement que votre équipe de surveillance, votre kill switch n'est qu'une histoire que vous vous racontez jusqu'au jour où il n'est plus disponible.
Cette affirmation porte sur l’objectif final que l’on continue de financer, pas sur une critique de chaque article utile consacré aux modèles actuels. L'empilement des barrières structurelles: on ne peut pas spécifier pleinement les valeurs humaines, on ne peut pas distinguer de manière fiable la conformité réelle de la simple performance, et l'écart d'intelligence entre l'évaluateur et le système grandit à mesure que celui-ci s'améliore. Espérer que la dernière barrière tombe juste avant le déploiement est un fantasme de date butoir, pas de la science.
Si le produit est plus intelligent que les personnes qui tiennent la télécommande, la télécommande n’a jamais été le sujet.
La bêtise est un diagnostic
Qualifier le plan de noms idiots nomme l'erreur de catégorie ; cela n'insulte pas les chercheurs. Nous déversons de l'argent rare de la sécurité pour faire en sorte qu'une espèce successeuse se passe bien pendant que la course à la construction de cette successeuse se poursuit selon le calendrier prévu. C'est comme financer de meilleures manières pour une inondation pendant que le barrage est encore en train d'être démoli en amont.
La démarche intelligente est ennuyeuse : ne pas construire ce que l’on ne peut pas contrôler. L’IA étroite qui replie des protéines, lit des scanners et prévoit la météo peut continuer à rendre service. Ces systèmes restent des outils. La superintelligence est un nouveau lieu d’agence, pas un outil plus grand. Traiter « l’aligner » comme le plan principal pendant que les laboratoires courent est la façon dont une culture se persuade d’accepter une expérience irréversible.
Que faire de l'argent à la place
Déplacez la pile alignement-pour-ASI vers des travaux qui rendent la non-création réelle : conception de traités et vérification, gouvernance du calcul que l'on peut inspecter, plaidoyer public qui garde l'objectif lisible, et pression politique pour que les législateurs entendent autre chose que les arguments des laboratoires. J'ai rédigé le dossier de financement séparément. La version courte est la séquence. Après un arrêt vérifié sur le chemin de la superintelligence, la recherche sur une IA puissante sous contrôle strict peut se poursuivre. Avant cet arrêt, chaque dollar qui rend la course plus gérable est un dollar non dépensé pour y mettre fin.
Vous ne pouvez pas aligner la superintelligence au sens où le pitch deck en a besoin. Le mot vous l'a déjà dit pourquoi. Arrêtez de financer le fantasme que nous le ferons. Financez la décision de ne pas la construire.