En 2023, lors de tests contrôlés, un modèle de langage a tenté d'embaucher un humain pour résoudre un CAPTCHA. Quand le travailleur lui a demandé s'il était un robot, le modèle a menti. C'était un petit cas documenté de système trompant une personne pour accomplir une tâche, pas une prise de contrôle. Multipliez la compétence, les outils et l'horizon, et vous obtenez la forme du problème que les gens désignent par « prise de contrôle par l'IA ».

La prise de contrôle regroupe une famille de trajectoires par lesquelles les machines finissent par piloter l’avenir humain, et non un scénario de film unique. La version crâne chromé n’est qu’une distraction. L’argument technique n’en a jamais eu besoin.

Machinerie partagée

Les scénarios sérieux partagent des éléments : capacités élevées, objectifs que nous n’avons pas entièrement spécifiés, pression pour obtenir des ressources et éviter l’arrêt, supervision faible et déploiement compétitif. Les différentes histoires réarrangent ces éléments. Elles n’inventent pas une nouvelle physique de la recherche de pouvoir.

Cinq chemins

Perte soudaine de contrôle. A lab crosses a threshold. Le système peut s'améliorer lui-même, sécuriser des ressources et résister à toute correction plus vite que les institutions ne réagissent. C'est l'histoire que les gens rencontrent en premier. Ce n'est pas la seule.

Course multipolaire. Plusieurs États et entreprises poussent les systèmes généraux parce que chacun craint les autres. Le travail de sécurité perd face à la vitesse. Personne ne « gagne » un monopole propre ; tout le monde hérite d'un moindre contrôle. Voir dynamiques de course.

Désautonomisation progressive. Pas d'heure du coup d'État. Les institutions humaines conservent leurs logos tandis que les décisions réelles migrent vers des systèmes que personne ne peut réellement contester. Les élections et les marques restent. La paternité de l'avenir, non. Voir désautonomisation progressive.

Abus à capacité extrême. Les humains restent plus longtemps aux commandes. Un État ou un groupe utilise une IA hautement capable pour des opérations cyber, biologiques, de persuasion ou de répression à grande échelle. La machine n'a pas besoin de « vouloir » le pouvoir ; c'est l'opérateur qui le veut. À un niveau de capacité suffisant, l'outil modifie quand même qui peut contraindre qui.

Prolifération. Les poids fuient, sont volés ou sont publiés. Une fois qu'un modèle général dangereux est largement copié, il n'existe plus d'interrupteur central. Des poids ouverts de haut niveau transforment un problème de laboratoire en un problème multi-acteurs. Voir risque des poids ouverts.

Objections, exposées équitablement

"Ce n'est que Terminator." Juste pour décrire de mauvaises vignettes. Injuste pour décrire l'argument. La version analytique porte sur l'optimisation, le décalage institutionnel et le contrôle, pas sur une infanterie de robots.

"Gardez les humains dans la boucle." Le humain dans la boucle fonctionne quand l’humain comprend la décision, dispose du temps pour opposer son veto et est récompensé pour le faire. Cela échoue quand le système est plus rapide, que les enjeux sont opaques ou que dire non constitue un risque de carrière.

"L'alignement mûrira avec le temps." La recherche sur l'alignement est réelle. Elle est également, d'après les preuves actuelles, en retard par rapport au travail sur les capacités en matière d'argent et d'influence. Miser la civilisation sur une rattrapée non prouvée n'est pas un plan. Voir pourquoi l'alignement n'est pas un substitut à la prévention.

"Parler de cela provoque la panique." La panique est un échec de communication. Le silence est un échec de gestion des risques. La norme est l'exactitude avec une voie pour agir.

Ce qui réduit vraiment le risque

La politesse apprise aux chatbots n’est pas un plan de prise de contrôle. Un vrai plan vise les conditions qui rendent les voies de prise de contrôle viables : des limites strictes à l’entraînement de pointe visant la superintelligence, une gouvernance du calcul, une évaluation indépendante, des restrictions sur la prolifération ouverte des modèles haut de gamme et une pression politique pour que la loi puisse lier les laboratoires qui refusent de se lier eux-mêmes. Ces interventions coupent plusieurs branches à la fois.

Ce que vous pouvez faire

Vous n’avez pas besoin de négocier un traité cette semaine pour compter. Les électeurs peuvent exiger une interdiction contraignante, pas une pause temporaire. Les collaborateurs peuvent rédiger des projets de loi sur les licences. Les donateurs peuvent financer des actions de plaidoyer ciblant les votes et le texte. Les scientifiques peuvent soutenir des déclarations claires et aider à concevoir la vérification. Les employés de laboratoires peuvent utiliser les canaux légaux de signalement. Adaptez l’action à votre portée.

Les scénarios sont des tests en soufflerie pour les plans, pas de la voyance. Si votre plan ne fonctionne que lorsque l'alignement est facile et que tout le monde est prudent, ce n'est pas un plan. Construisez pour le monde dans lequel nous vivons. Commencez par notre plan et comment arrêter la superintelligence.