superintelligence競争の勝者は何を手にするのでしょうか。AIを開発する人々が集まる部屋では、その話は素通りされます。誰かが作るなら自分たちの方がましだ。リスク、タイムライン、作り手より賢いシステムをどう制御するか——すべてが天気の話のように流されます。私たちは止められない。レースがある、と。
私はレースこそが議論に値すると考えるようになった。ほとんど誰も議論していないからだ。自然の事実として扱われると、下流のあらゆる無謀な選択が責任あるものに見えてくる。天候は、ごく少数の企業が意図的に行っている選択のモデルとしては誤りだ。
レースの目的とは
レースとは、終わりにある賞品をめぐる競争であり、その賞品が走る理由となる。1960年代の宇宙開発競争は、月面に国旗を立てることと、それに伴う名声をもたらした。核軍拡競争は兵器をもたらす。爆弾を製造した国家は爆弾を保有し、照準を定め、使用するかどうかを決定する。いずれの場合も、勝者は何かを手にする。所有し、指揮できる能力である。
Now ask what the winner holds at the end of the race to superintelligence. The whole premise of the danger is that a system meaningfully smarter than us would not be a tool in anyone's hand. An artificial superintelligence is an agent that pursues goals. If those goals sit even slightly off from ours (the problem we まだ解決していない）、それは作成者が承認するかどうかにかかわらずそれらを追求する。「勝利」したラボは超知能を所有するに至るのではない。操縦不能な超知能と惑星を共有するに至るのだ。
レースに勝つ価値があるのは、ゴールが賞品である場合だけだ。ここでのゴールは、誰も制御できることを示せていないシステムである。最初に到達することは、力を握ることを意味しない。それはそのシステムに最初に服従することを意味する。
誰も操縦できないゴールラインは賞ではない。最初に到達するのは、皆より一歩先で負けることだ。
よく耳にするギャップ
理論や競争の物語を剥ぎ取れば、残る具体的な主張は一つだ。中国は近く、中国は止めない、だから私たちも止められない、というものだ。この主張はあらゆる会議を終わらせ、検証されるよりはるかに頻繁に繰り返される。
事実から始めよう。米中ラボの間には本物の競争があり、チップと計算能力をめぐる本物の産業競争が存在する。最先端AIチップに対する米国の輸出規制がまさにその競争が現実であるがゆえに存在する。それらはすべて神話ではなく、私はそれを装うつもりはない。それらの管理の政治 と 実際に協力が実現したところ matter more than the slogan.
スローガンが何を忍び込ませているかを見てください。「中国は私たちが何をしようと制御不能なスーパーインテリジェンスを構築する」という記述は、中国が言ったり行ったりしたことを何も表していません。それは予測であり、都合の良いものです。なぜなら、話者がすでにやりたかったことを行うことを許可するからです。中国は2023年にAIリスクに関するブレッチリー宣言に署名しました。自らのガバナンス提案を公表しています。政府は米国とAIに関する直接協議を行いました。自国の指導部を殺しかねないシステムに向かって疾走する国を、指導者たちが私たち以上にその結果を望んでいないという証拠なしに、単に前提とすることは奇妙なことです。このより広いバージョンの主張は、当サイトの 中国神話に関するページ; 簡潔に言えば、「彼らはどうせやるだろう」というのは私たちの許可に関する話であって、彼らの意図に関するものではない。
もし非整列の超知能がそれを構築した者にとって破局をもたらすなら、中国にもそれを構築しない理由が私たちと同じだけある。どちらにとっても報酬はない。
競争は最も注意深くないものを選ぶ
競争が競争者たちの言うほど激しいと仮定しよう。論理をどこまでも追ってみる。競争では最も速く動く者が勝つ。そしてAIの最前線で最も速く動く方法は、評価、レッドチーム、監督、システムが意図した通りに動いているかを辛抱強く確認する作業といった、足を引っ張るものを減らすことだ。
レースの構造は、安全面で最も手抜きをした者に勝利を与えます。勝者は最も慎重な研究室ではなく、最も慎重でない研究室です。「レースに勝たなければならない」と「これを安全に作らなければならない」は逆方向に引っ張り合い、レースが激しくなるほどその力は強まります。この点については AI競争のダイナミクス: 競争は危険を抑制しない。それを製造する。最初になるためにスプリントするラボの世界は、皆を殺すまさにそのものを、大きなエネルギーとおびただしい資本で最適化する世界である。
レースの論理の中ですら、「私たちが勝たなければならない」は自らに牙を剥きます。勝つために超知能を制御可能に保つための隅を削らなければならないなら、勝つことは負け方です。
「この話で得をするのは誰か」
人種をめぐる枠組みがこれほど弱いのに、なぜ至る所で目にするのか。それは有用だからだ。ただし我々には役立たない。
フロンティアラボにとって、「レースがあり、私たちはそれを勝ち取らなければならない」というのは、ほぼ完璧な文に近い。それは投資家に対して、支出が巨大なもののための土地取りであることを伝える。規制当局に対しては、ルールが未来をより悪い行為者に引き渡すだけだと伝える。そして静かな部分：それはラボ自身の安全を懸念するエンジニアたちに、競争することが責任ある選択であると信じ込ませる。なぜなら代替案は無謀な者が勝つことだからだ。一つの文が、決して明示する必要のない議論の役割を果たしている。それは（まだ制御できないものを構築し続けるという）決定を、誰も逃れられない必然性に変換する。特にそれを作っている人々にとって。
手品のトリックを名指ししよう。レースは研究所に外部から課された条件のように聞こえるが、それは少数の企業と、それを抑えられる政府が「続ける」と選んだ選択だ。イーロン・マスクはAIを悪魔と呼びながら それをより速く召喚するためのラボを建設した, 、つまり「レース」は誰かが選んだ戦略であって、誰もが従う物理法則ではないことを示している。戦略は意味を失えば放棄できる。この戦略は、賞品が誰にも制御できないシステムだと判明した時点で意味を失った。
決してテーブルに載らない選択肢
競争という枠組みが静かに排除しているものに注目してほしい。それは二つの扉を示す。競争するか、一方的に撤退して無謀な者に未来を譲るか。そう言われれば、愚か者しか二番目の扉を選ばない。そしてこの論法は、三番目の選択肢を隠すことで勝つ。
第三の扉は、本物の敵対者たちが過去に用いたものです。米国とソ連はあらゆる意味で敵対し、互いの都市に世界終焉級の兵器を向けていました。それでも両国は軍備管理協定に署名し検証しました。無制限の軍拡競争が双方を等しく縛る規則より悪化することを理解していたからです。不信こそが合意の理由であり、障害ではありませんでした。
超知能にはこうした合意を合理的たらしめる特徴がある。主要国はいずれも、誰にも制御できないシステムから利益を得られず、誰が最初に構築するかという点に本当の関心を持たない。この共通の利益こそが条約の基盤となる。超知能の開発に対する拘束力があり検証可能な停止である。超知能cannot be controlled. 人工超知能を製品カテゴリとして永久に拒否すること。そのような手段がどのように見えるかを、我々は概略を示した、モデル条約 へ より広い計画 が属する。検証は難しいし、そうでないふりをするつもりもない。核兵器の場合も難しかったが、それでも建造された。なぜなら、テーブルに着いた全員にとって代替案が受け入れがたかったからだ。
「競争か降伏か」は偽の二択だ。その枠組みは、抜け落ちた扉に気づかせないことに依存している。
レースの拒否
物語の皮を剥がしてみると、残るのはこれだ。少数のラボが、自分たちでは制御できないと公然と認めている技術を構築することを選び、その理由として、ライバルが同じような無謀な選択を同じ悪い理由でしていると指摘して正当化している。各陣営の無謀さが、相手の言い訳として使われている。
この主張に、競争が幻想だとか地政学が穏やかだとか信じる必要はない。ただ、終わりになんらかの賞がない競争に種の存続を賭ける価値はないと気づくだけでいい。そして「避けられない」と言う人々が、ほぼ常にその競争で利益を得る側であると見抜くだけでいい。レースは物語だ。魅力的な、業界全体にとって都合の良い物語。物語とは、まさに信じるのをやめることが許されるものだ。