条約が失敗するとき：:
人工超知能 ガバナンスへの教訓。

AI安全に関するガバナンス文献には、成功した類似例への偏りがある。化学兵器禁止条約は頻繁に引用される。モントリオール議定書はほとんどの真剣な議論に登場する。国際原子力機関の核保障措置システムは、AI監視機関がどのようなものになるかのモデルとして挙げられる。これらは貴重な参考資料だが、国際ガバナンスが達成できることとできないことの不完全な絵を描くことになる。

特に目立つのが二つある。発効に至っていない包括的核実験禁止条約と、検証メカニズムがなく、二十年にわたり大規模に違反されていた生物兵器禁止条約だ。

失敗例も同様に示唆に富み、ある面ではより重要である。そこには、ガバナンス体制が崩壊したり不十分に終わったりする具体的な設計選択と政治的条件が表れている。まだ設計されていない人工超知能ガバナンスにとって、これらの失敗モードを理解することは成功事例を研究するよりも実践的である。成功か失敗かを決める設計選択が、まだ開かれているからだ。

失敗モード1：発効の罠

包括的核実験禁止条約は1996年9月に署名開放された。2026年までに187カ国が署名し、178カ国が批准しているが、未発効のままだ。

理由は第14条である。同条は、条約が交渉時に原子力発電所または研究用原子炉を保有していた44カ国すべてが批准した後にのみ効力を生じると定めている。この44の附属書2国リストは、核実験に最も関連する国々を確実にカバーするために設計された。しかしそれは代わりに8カ国による恒久的な拒否権となった。中国、エジプト、インド、イラン、イスラエル、北朝鮮、パキスタン、米国である。8カ国すべてが批准するまで、CTBTは他のどれだけ多くの国が批准しても効力を生じない。

CTBTは無用ではありません。包括的核実験禁止条約機関は、地震、海洋音波、超低周波音、放射性核種観測所からなる地球規模の監視システムを運用しており、核実験を高い信頼性で検知できます。この監視は、非署名国（2006年から2017年までの北朝鮮の6回の核実験を含む）の核計画に関する実際の情報をもたらしています。CTBTOの監視は、条約の枠組みがなければ、暫定適用中であっても存在しません。しかし条約の中核的義務である核実験の禁止は、試験を実施する可能性が最も高い国々に対して法的拘束力を持っていません。発効していないからです。

人工超知能ガバナンスにとって、CTBTの失敗が示す具体的な設計上の教訓は、発効要件です。主要なAI開発国すべてが参加しなければ効力を生じない条約は、各国に体制全体に対する一方的な拒否権を与えます。US、中国、EU、UK、およびその他5〜10カ国を必須参加国として列挙すれば、そのうちのいずれか一国でも条約の発効を無期限に阻止できます。

より堅牢な設計では、条約は参加を望む一定数の当事国の間で効力を生じ、運用可能なガバナンス体制を創設しつつ、非当事国が後から参加する余地を残す。非当事国は条約の利益（技術共有、市場アクセス優遇、協力的安全研究）から排除されるため、参加へのインセンティブが生まれる。一方、既存当事国間の条約の有効性は、参加が何を意味するかの不確実性を低減する実証済みのガバナンスモデルを示す。地雷禁止条約と国際刑事裁判所はいずれもこのアプローチを採用した。

失敗モード2: 検証のない禁止

生物兵器禁止条約は1972年に署名のため開放され、1975年に発効しました。生物兵器の開発、生産、貯蔵を禁止し、既存の貯蔵を破壊することを義務付けます。183の締約国がありますが、検証メカニズム、査察機関、違反疑惑を調査して不遵守を認定する正式な機関はありません。

ソ連は1975年にBWCを批准した。批准の2年前である1973年、ソ連閣僚会議はBiopreparatの創設を承認した。これは名目上は民間の研究機関のネットワークであり、世界最大の攻撃的生物兵器計画を構成していた。1980年代のピーク時には約6万人の科学者を雇用し、ペスト、天然痘、炭疽菌の兵器を工業規模で生産し、抗生物質やワクチンに耐性を持つよう遺伝子改変された病原体も開発していた。この計画は1970年代から1980年代を通じてBWCに全面的に違反して運用され、USSR崩壊後にソ連の亡命者によって明らかになった。BWC体制にはこれを検知する手段がなかった。

これは戦後最大の軍備管理検証の失敗である。検証できない禁止は規範であって、説明責任の仕組みではない。それは国家の行動に実効性を持つ公的な行動基準を生む一方で、隠密に違反する手段と動機を持つ国家による組織的な違反を検知できない構造になっている。

BWCに検証プロトコルを追加するための交渉は1995年から2001年まで行われた。米国は2001年7月に提案されたプロトコルを拒否し、その査察手続きが合法的な商業バイオテクノロジーに対して過度に侵入的である一方、違反を確実に検知するには弱すぎると主張した。交渉は決裂し、拘束力のある検証メカニズムを生み出せる形では再開されていない。BWCは検証機関のない規範として効力を保っている。

BWCの失敗が人工超知能ガバナンスに意味すること

生物兵器とAIの類似は完全ではないが、BWCの失敗のいくつかの特徴は人工超知能ガバナンスに直接移せる。

デュアルユースは中心的な検証課題です。生物兵器は、合法的な製薬・公衆衛生研究とほぼ同一の研究室設備、知識、プロセスを用いて生産されます。攻撃的研究と防御的研究、または民生と兵器の用途を区別するには、機密の商業・技術情報へのアクセスを持つ高度に訓練された査察官が必要であり、それでも多くの場合に genuine な曖昧さを生み出します。このデュアルユースの性質が、化学兵器や核兵器のように明確なシグネチャを持つものとは異なり、BWCの検証議定書を技術的に要求が高く、政治的に争いのあるものにしました。

AIはより根本的なレベルで同じ二重利用の性格を持つ。大規模言語モデルは、自然言語生成を訓練されたものでも、大規模な説得を訓練されたものでも、技術的に区別がつかない。科学研究支援を訓練されたモデルと、高リスク環境での自律行動を訓練されたモデルは技術的に同一である。最先端AIを商業的に価値あるものにする能力は、それを潜在的に危険にする能力と同一である。人工超知能ガバナンスの検証は、BWCの検証を挫折させたのと同じ課題に直面する。技術的に同一のシステムの危険な用途と正当な用途を区別しなければならない。

「生物兵器禁止条約は、検証のない禁止が時間とともに何を生むかを正確に示している。主要国による二十年にわたる大規模な違反が明らかでありながら、違反を検知・対応する仕組みが存在しないという、広く受け入れられた規範だ。人工超知能ガバナンスにとって、これは検証を「いつか来るかもしれない将来の議定書」に先送りした場合のデフォルトの結果であり、理論上の懸念ではない。」

教訓は、AIにとって検証が不可能だということではなく、検証を条約の当初から組み込んでおかなければならないということだ。BWCの検証交渉は26年間の努力の末に失敗した。禁止を先に定めて検証体制を後回しにする人工超知能ガバナンス条約は、同じ結果、すなわち説明責任メカニズムのない規範が、見えない開発プログラムと並行して運用されるリスクを負う。

失敗モード3：コストなしの脱退

北朝鮮は1985年に核拡散防止条約に加盟し、1993年と2003年に脱退を宣言、2006年に初の核実験を実施した。核拡散防止条約の脱退規定である第X条は、異常事態が自国の最高国益を危うくすると判断した場合、90日間の通知で脱退を認める。北朝鮮の脱退は国際原子力機関が保障措置義務違反を認定した後に行われ、この脱退により国際原子力機関の北朝鮮核プログラム監視能力は事実上終了した。

人工超知能ガバナンスにとって、核拡散防止条約／北朝鮮の前例が示すのは脱退コストの重要性である。90日前に通知すれば罰則なく脱退できる条約は保証として弱い。条約で禁止された活動を追求したい国家は、それらの活動が明らかになる前に脱退すればよいからだ。人工超知能ガバナンス条約の脱退規定には、条約機関や他の当事国が対応できる十分に長い通知期間、脱退通知後も一定期間検査権を保持すること、脱退意思の通知時点で効力発生ではなく即時利益停止を設けるべきである。

こうした設計上の選択は、離脱を防ぐものではありませんが、離脱を日常的で静かなものではなく、コストが高く目立つものにするでしょう。目的は、反対する国家を条約の義務に縛りつけることではなく、体制から離脱する行為を政治的に重大な出来事とし、国際的な注目と外交的対応を生むようにすることです。

「人工超知能のガバナンス設計者は、これらの失敗を研究してから関連条項を起草できるという利点を持つ。CTBT、BWC、核拡散防止条約の失敗はいずれも文書化・分析されており、入手可能だ。それらの失敗を生んだ設計選択は回避可能である。問題は、人工超知能ガバナンス条約を生み出す政治プロセスが、これらの失敗から得られた技術的設計上の知見を主要国の交渉立場との接触で生き残らせるかどうかだ。」.

最も強い反発

最も説得力のある反論は、失敗した条約が条約は決して機能しないことを証明するというものです。失敗した設計は条文が悪かったことを証明します。発効の罠、検証の欠如、安易な脱退は、起草段階で修正可能な選択です。教訓は反対の条文を書くことであって、法を放棄することではありません。