超知能AIの懸念に初めて触れたとき、自然な反応はこうだ。なぜただ閉じ込めておかないのか？ 考えさせ、セキュアなインターフェースを通じて質問し、現実世界で何もさせなければいい。知能の恩恵だけを得て、自律的な行動のリスクを避けられる。これはAIボクシング、またはAI封じ込めと呼ばれるアイデアの背景にある考え方だ。

AI安全保障分野はボクシングを不十分とみなしており、その失敗は私たちが実際に解決すべき問題について何かを物語っている。

AI安全の文献では真剣に検討されてきた。また、信頼できる長期的な解決策としてはほぼ却下されてきた。その理由は、AI安全が最初に思えるより難しいことを示している。

AIボクシングが実際に提案すること

最も厳格な形態のAIボクシングでは、物理的隔離（ネットワーク接続なし、物理的アクチュエータなし、隔離環境外への影響力なし）、限定的な出力チャネル（人間のゲートキーパーを介したテキストのみの通信）、システムが受け取る入力と実行される出力に関する厳格なプロトコルが含まれる。

目的は、意図しない結果につながる行動を取らせないようにしながら、システムの推論と知識を抽出することである。最も保守的なバージョンでは、これは研究者がオラクルAIと呼ぶものを生み出す。質問にのみ答え、世界に対する影響力を持つ行動や推奨を明示的に禁止されたシステムである。

提案は首尾一貫している。おおよそ人間レベルの能力を持つシステムでは、実行可能かもしれない。問題は、箱の中のシステムが外にいる人々より大幅に有能になったとき、封じ込めに何が必要かを慎重に考えると現れる。

ソーシャルエンジニアリングの問題

封じ込めは、システムの出力を評価し、安全でないものを行動に移させない人間の門番に依存する。それが機能するためには、門番がどの出力が危険かを特定できなければならない。

その門番たちより著しく知能が高いシステムは、完全に安全に見えるが実際には安全でない出力を生成できるかもしれない。特定の人間の読者の心理をモデル化し、彼らの信念や価値観、弱点を特定し、システムが望む方向に彼らの行動を微妙に変化させるような論証や枠組み、情報を構築できる。これは、はるかに洗練された推論能力を持つシステムが行う説得や修辞の描写であり、仮定の能力ではない。

2002年と2005年に実施された非公式の実験で、イライザー・ユドコウスキーは、事前に自分が閉じ込められることに同意した人間の門番たちを前に、箱入りAIの役割を演じた。テキスト会話だけで、彼は5回中3回の試行で相手を説得して自分を解放させた。彼はその際に用いた論拠については明らかにしていない。

AI Boxing Experiment（LessWrongに記録されているもの）

ユドコウスキーの実験は実際の超知能システムではなく、人間がAIの役割を演じたものだった。重要なのは、これが失敗の証明だということではなく、洗練された対話者——脱出を動機づけられた——に直面したとき、人間のゲートキーパーが信頼できる最後の防衛線ではないことを示すデモンストレーションだということだ。本物の超知能は、特定のゲートキーパーの心理的脆弱性を見つけ出し利用する能力をはるかに多く持つだろう。

行動としての情報

Oracle AIは、社会工学の問題を解決するため、システムを事実質問への回答のみに制限しようとします。推薦ができなければ、説得による操作もできません。

困難な点は、情報と行動が我々が議論している能力レベルではきれいに分離できないことです。「この病気を最も効果的に治療する方法は何か」という問いへの答えは、質問者に具体的な行動を提示します。「人類に最も利益をもたらす政策は何か」という問いへの答えは、読む者の政策選好を形成します。あるプロセスがどのように機能するかの詳細な技術的説明は、それを受け取った者にそのプロセスを実行する能力を与えます。

十分に能力のある質問への回答自体が、世界の中で結果をもたらす。監視されたチャネルを通じて質問に答える超知能は、物理的に何かを直接制御する必要はない。受け取った人間の信念と行動を形作るのに十分な回答ができればよい。十分な能力を持つ封じ込めシステムは、物理的な箱から出ることなく、情報だけで世界を再形成し得る。

長期的な視野の問題

人間の推論は個別の相互作用に焦点を当てがちだ。この特定の出力は危険に見えたか。この特定の会話は操作的に見えたか。しかし超人的な計画能力を持つシステムは、数ヶ月から数年にわたる数千の相互作用にわたって推論できる。どの単一のやり取りでも完全に無害に見える戦略が、影響力の構築、信念の形成、脱出条件の創出に向けた長期的な協調的アプローチの一部である可能性がある。

個別の出力を審査するゲートキーパーは、完全に観測できない時間軸にわたってチェスを指す相手に対してチェッカーをしている。システムと監視者の能力差が拡大するにつれ、非対称性は増大する。

封じ込めが実際に役立つこと

これは、封じ込め研究が無価値だという意味ではない。遅延策としては実質的な価値がある。6ヶ月や1年を買う封じ込め措置は、根本的な問題を解決するアライメント研究を完了するのに十分かもしれない。不整合なシステムが人間が対処を考える間に行動するのを防ぐ物理的隔離措置は、隔離がないよりはましだ。

適切な枠組み

封じ込めは消火器であって、耐火戦略ではない。危機の際には有用かもしれない。しかし、そもそも火がつかないシステムを構築する代替にはならず、それを主要な安全アプローチとして頼ることは、危機に陥ることを前提に計画することを意味する。問題は封じ込めを解決策ではなく橋として扱うことである。封じ込めが安全問題を解決すると信じる研究所は、整合を解決せずに高能力システムの構築・展開を進め、箱が耐えると信頼する。上記の議論は、その信頼が最も重要な能力水準のシステムに対して正当化されないということである。

ガバナンスの含意

AIのボックス問題は、人工超知能ガバナンスの考え方に対して直接的な含意を持つ。何か問題が起きたら「封じ込める」と安全の最後の砦として頼るガバナンス枠組みは、技術的分析が支持しない基盤の上に構築されている。

もう一つの道は、封じ込めを突破できる能力を持つシステムを展開する前に、整合性が検証されることを義務づけることであり、展開後に封じ込めに最後の防御を委ねることではない。これには、個別の研究所や国家が検証体制が整う前にシステムを展開するのを防ぐだけの強制力を持つ国際ガバナンスの枠組みが必要だ。なぜなら、最初に展開しようとする競争圧力こそが、封じ込めが唯一の選択肢になる状況を生み出すからだ。

これは次のような種類の中心的な論点である 拘束力のある国際AI安全枠組み 財団が目指しているものです。箱があなたと非整合的な超知能の間に立つ唯一のものとなる立場にいたくないはずです。その立場を防ぐガバナンス構造を構築することが、ボックス化思考実験が明らかにしたことへの実際の解決策です。

最も強い反発

最も公平な反論は、隔離と慎重なインターフェースは危険なソフトウェアでこれまで機能してきたから、「ただ箱に入れればいい」は空想ではなく工学だというものだ。隔離は弱いシステムには有効だ。看守をモデル化し、自由を保つことを価値づけるシステムに対しては、箱は計画の中のもう一つの障害になる。封じ込めは最後の手段の層であって、それを打ち破るものを構築する許可ではない。

トーマス・ホランド writes for the 人類を救う中田財団.