簡単なテストがある。今日利用可能などのAIシステムにも、密閉された部屋に自分を閉じ込めさせ、天井のHVACをその制御下に置き、そのシステムを毒ガスのタンクに接続して、バルブを開けないと信頼できるか。無論できない。百万ドルと安全に関する白書があってもやらない。チャットベンチマークで高得点を取ったからでも、企業がマーケティングPDFで「helpful and harmless」と述べたからでもやらない。

あなたが拒否するのは、つまらない理由からだ。人生を左右するたった一つの不可逆的なレバーを機械に委ねたくないから。その拒否こそ正気だ。しっかり握りしめておけ。

今、部屋をスケールせよ

世界はもっと大きな部屋だ。操作するべきレバーは、エネルギー網、市場、兵器ネットワーク、バイオラボ、物流、そして日常生活の上にすでに乗っているソフトウェア層であって、映画の小道具のタンクではない。私たちは四半期ごとにレバーを引くのが上手くなるシステムを構築し、毎年より多くのレバーをソフトウェアにつなげている。

今日のモデルに一つの部屋のバルブ一つを任せられないなら、なぜ明日のモデルにすべてを任せるのか。通常の答えは曖昧だ。「もっとテストする」「人間をループに残す」「その頃には整っている」。どれも希望でしかない。小規模テストと大規模テストで答えが逆になる理由にはならない。

バルブを渡さないなら、世界を渡すな。

正直さのギャップ

こうしたシステムに携わる人々は、慎重な言葉で、ある能力水準を超えると制御を保証できないと認めることがある。それでも製品ロードマップは進む。内部での慎重さと公の展開との間のこのギャップこそ、問題の縮図だ。

私はあなたに一夜にしてエンジニアになってほしいわけではありません。具体的なシナリオになったとき、すでに持っている判断力をそのまま保っていてほしいのです。鍵のかかった部屋とガスバルブがあれば、賭けの大きさは明らかです。超知能も同じ構造で、確率はさらに悪く、リセットボタンもありません。

だからこそ、公の場で問いかけてほしい。現在のどのモデルにバルブを任せられると思うか。答えが「ノー」なら、それを文明に任せることに投票したり、資金を出したり、肩をすくめたりしてはいけない。一貫した答えは、あなたを生き延びさせるものだ。自分を同じ部屋に閉じ込めたくないシステムは、作ってはならない。