超知能を止めることは、すべてのチップを破壊したり機械学習を終わらせたりすることではない。人工超知能の開発を法的に、かつ実際に禁止することである。超知能は人間によって制御できない。それは恒久的な禁止であって、同じレースに戻る期限付きの一時停止ではない。
停止すべきもの vs 継続すべきもの
狭いAIがタンパク質を折り畳み、スキャンを読み取り、物流を最適化し、限定された領域内に留まることは続けさせるべきだ。標的となるのは、一般的な、再帰的に自己改善する超知能と、それを目指すプログラムであり、計算量の閾値や能力テスト、研究規則でふるいにかける。「AIを禁止したい」と言っている批判者は、人種を守るための誹謗中傷を売りつけている。
ラボの約束だけでは不十分な理由
Responsible scaling policies and multi-lab pledges can disclose intent. They fail as the primary control system. The same firm writes the policy, runs the tests, judges the results, and profits from shipping. Under competition, internal rules bend. External law has to supply the bite. See 自主的なコミットメント.
執行の階層
崖に立つ梯子を想像してみて。
世論 基盤に：要求を名指しし、イノベーションの演劇だけを提供する指導者を罰することができる人々。
国内法と機関: ：大規模訓練実行のライセンス、意図的な人工超知能開発に対する刑事・民事責任、実際のアクセス権を持つ評価機関、内部告発者保護。
チップとクラウド: 輸出管理、クラスターの顧客確認、電力とデータセンターの可視性。ハードウェアは物理的です。それはガバナンスの特徴です。参照 コンピュート・ガバナンス.
連立条約: フロンティア能力の大部分をカバーする中核国家群による、数値附属書付きの枠組みであり、原則だけではない。不信は当然であり、検証は当事者が友好に頼らなくて済むために存在する。 条約の設計 と 核拡散防止条約の教訓.
検証機関: 査察官、FLOPスケジュール、インシデント報告、結果を招く権限。データセンターと訓練に対する国際原子力機関のような能力を考えよ。おしゃべりクラブではない。
恒常的な禁止条件: ：研究室に取り込まれていない機関のもとで、独立した科学と世論の双方が厳しい基準を満たしたときのみ再開する。
各段が次の段を支える。計算規則のないサミット、または公共の意志のない計算規則は、登攀を未完のままにする。
国内政治が問題の半分を占める
米国では、美しいジュネーブの文書は上院を通る道筋か、成立可能な法律および議会・行政協定を通さなければ拘束力を持たない。勝てる票から逆算して文書を設計せよ。他国にもそれぞれ批准の罠がある。国内設計を飛ばせば、プレスリリースしか残らない。 3分の2の問題.
中国、ライバル、そして競争の言い訳
無制限のスケーリングに対する主要な言い訳は、われわれが減速すれば彼らは減速しない、というものだ。共有された脆弱性は両刃の剣である。制御不能な超知能は、国旗に敬礼しながら国を失う方法であって、国家資産ではない。検証、ハードウェア拒否、ブレークアウト計画の相互暴露は、互いを信用しないライバルが存在するためにある。詳しくは 競争という神話 と US-中国協力.
ウェイト公開
高性能なオープンモデルの重みは、輸出管理では部分的にしか対処できない拡散経路を生む。一度重みが公開されれば、中央集権的な回収は不可能だ。高性能な汎用モデルの公開は、通常の製品リリースではなく、拡散に関する決定として扱うべきだ。詳細は を参照。 オープンソース重みのリスク.
あなたができること
行動を自分の及ぶ範囲に合わせよ。
有権者: 代表者に、曖昧な「気をつけて」ではなく、拘束力のある禁止を求めるよう連絡する。 スタッフ: 数値トリガーを伴うライセンスおよび評価法案を起草する。 寄付者: 投票と条約文を動かす擁護活動に資金提供する。 科学者: 永久禁止を支持し、検証の設計を支援する。 ラボの従業員：: 内部安全が無視された場合は合法的な報告チャネルを使用する。役割特有の力は一般的な不安に勝る。参照： 行動を起こす.
資金と名声のほとんどは依然として競争を安全にする方に流れ、人工超知能への競争を終わらせる方には向かわない。競争を止めるための寄付は依然として少ない。
成功とはどのようなものか
二年後：複数の法域で実効性のある法令、チップのより良い最終用途監視、数字を伴う本気の交渉文書、拘束力ある禁止を支える持続的な世論。五年から十年後：フロンティア能力の大部分を覆うライセンス制計算資源、機能する査察、訓練に対する連合の監視、そして逸脱が費用と可視性を伴う文化。サミットの共同声明だけではカウントされない。
失敗モード
再定義（人工超知能の代わりに「先進的支援」）。評価者の捕捉。検証のない象徴的条約。「解決された整列」を待ってからの構築許可。コストなしの離脱。これらに名前を付けることで、登攀に手すりを設けることができる。
聖典なき条約設計
神聖な単一の草案など存在しない。設計のファミリーがある。最先端能力の大部分をカバーする中核連合は、普遍的加盟を待たずに先に動ける。枠組み優先・附属書後回し方式（原則を先に、数値目標は後で更新）は、環境や軍備管理の成功事例から借りてこられる。非加盟国への貿易措置は離脱の計算を変える。多国間基金や技術アクセス協定は、狭いAIから締め出されることを恐れる国々の参加を促せる。機械知能研究所式の草案は完全に具体化された一つの提案であり、核拡散防止条約、モントリオール議定書、化学兵器禁止条約は先例の棚である。称賛するだけの詩ではなく、検証可能な構造を選ぶことだ。
境界近くの研究
最も難しいドラフティングの問題は、禁止のすぐ隣に位置する作業です。エージェントシステム、自動化されたAI研究アシスタント、大規模な自己対戦です。明確な人工超知能経路は禁止してください。グレーゾーンはライセンスと検査の対象にしてください。すべての論文を爆弾扱いするようなことはせず、誰も覆せないシステムへの道を短縮する自動化AI研究を「普通の科学」だと装うこともやめてください。
正義と負担者
計算ルールは、産業基盤が不均等であるため、企業や国に不均等に影響する。公正な体制は、能力の梯子の頂点に対する制約と、有益な狭いツールへの継続的なアクセスの両立であり、「安全」を口実にした恒久的な技術的階級制度の隠れ蓑にはしない。目的は共有の生存であって、進歩の独占ではない。
2つの難しい主張への回答
"経済を失うことになる。" 一部の資本は再配分される。一部の株式ストーリーは縮小する。それらのコストは四半期決算説明会で目に見える。絶滅と永続的な無力化は、明細項目として現れない。目に見えるコストは、代替案が文明規模のものだというときに自動的に議論に勝つわけではない。
"誰かが必ず裏切る。" Defection is a design input. Verification, hardware denial, sanctions, and mutual exposure of breakout programs exist to change the payoff. Perfect compliance is not the standard. Raising the cost of cheating is.
再びのはしご
世論。法律。チップ。条約。査察官。恒久的な禁止。登るということは、 rung を順に設置し、壁に描かれた絵を梯子だと偽らないことです。文書や産業上のボトルネック、法的先例はすでに存在します。力は実際に届く次の rung に置くべきです。完全な設計は 私たちの計画. 。設立の文はもっとシンプルだ: 超知能を構築するな. 。超知能は制御できない。