Voici un test simple. Laisseriez-vous n'importe quel système d'IA disponible aujourd'hui vous enfermer dans une pièce scellée, placer la climatisation au plafond sous son contrôle, relier ce système à une bouteille de gaz toxique et lui faire confiance pour ne pas ouvrir la valve ? Bien sûr que non. Vous ne le feriez pas pour un million de dollars et un livre blanc sur la sécurité. Vous ne le feriez pas parce que le modèle a obtenu un bon score à un benchmark de conversation. Vous ne le feriez pas parce que l'entreprise a déclaré dans le PDF marketing que le système était utile et inoffensif.
Vous refusez pour une raison banale. Vous ne faites pas confiance à la machine pour un seul levier irréversible sur votre vie. Ce refus est de la sagesse. Accrochez-vous-y.
Maintenant, dimensionnez la salle
Le monde est une pièce plus grande. Les leviers sont les réseaux énergétiques, les marchés, les réseaux d'armes, les laboratoires de bio, la logistique et la couche logicielle qui repose déjà sur la vie ordinaire, pas un réservoir de décor. Nous construisons des systèmes qui deviennent meilleurs pour actionner ces leviers chaque trimestre, et nous connectons davantage de leviers au logiciel chaque année.
Si vous ne confieriez pas à un modèle d'aujourd'hui une seule vanne dans une seule pièce, pourquoi confieriez-vous à celui de demain toutes les vannes ? Les réponses habituelles sont molles. « Nous testerons davantage. » « Nous garderons un humain dans la boucle. » « Ce sera aligné d'ici là. » Ce sont des espoirs. Ce ne sont pas une raison pour que le petit test et le grand test reçoivent des réponses opposées.
Si vous ne lui confieriez pas la valve, ne lui donnez pas le monde.
Le fossé de l'honnêteté
Les personnes qui travaillent sur ces systèmes admettent parfois, avec prudence, qu'elles ne savent pas comment garantir le contrôle au-delà d'un certain niveau de capacités. Pourtant, la feuille de route produit continue. Cet écart entre la prudence privée et le déploiement public résume tout le problème.
Je ne vous demande pas de devenir ingénieur du jour au lendemain. Je vous demande de conserver le jugement que vous avez déjà lorsque le scénario est concret. Une pièce verrouillée et une valve de gaz rendent les enjeux évidents. La superintelligence a la même forme, avec des probabilités pires et pas de bouton de réinitialisation.
Alors posez la question en public. Feriez-vous confiance à n'importe quel modèle actuel pour la vanne ? Si la réponse est non, ne votez pas, ne financez pas et ne haussez pas les épaules pour lui confier la civilisation. La réponse cohérente est celle qui vous garde en vie : ne construisez pas le système avec lequel vous ne vous enfermeriez pas dans une pièce.