長期主義は
リスクこそ正解

Open Philanthropy、80,000 Hours、そしてFuture of Humanity Instituteを経た研究の系譜は、今なお多くの機関が拒み続けていることを行いました。彼らは人工超知能を、人類の物語が終わる plausable な方法として扱い、その主張に向かって実際の資金と人材を動かしました。リスクそのものについては、彼らは早くから正しく認識していました。

ポートフォリオの誤りは次の推論にある。「これが人類の未来を永遠に損なう可能性がある」というところから、主流の長期主義的回答は、技術的アライメント研究に資金を、フロンティアを遅らせたり方向づけたりする人工超知能ガバナンスに資金を、そして安全そうに見えたらシステムを構築する道を開いておく、というものになった。これもまた、彼らが正しく指摘したリスクに対する誤った計画だ。

アライメントがレバーのように見える理由

規模、無視可能性、扱いやすさは依然として重要である。非整合的な超知能は、生きているすべての人間とその後のすべての世代に影響を及ぼし得る。長年、権力を持つほとんど誰もがそれを現実の可能性として扱わなかった。目標の誤指定、欺瞞、監視に関する技術的研究は、強力なシステムが到来した場合でも良好な結果の確率を高め得る数少ない手段の一つに見えた。一方的な研究所閉鎖は競争下では絶望的に見えた。そこで責任あるポートフォリオは、整合科学、時間を稼ぐ政策、そしてシステムをいずれにせよ構築する研究所や政府内部での慎重な影響力行使を組み合わせた。

前提のほとんどは受け入れます。代償は文明規模です。この話題は長く軽視されてきました。私たちがまだ検査・停止できるシステムに関する技術的安全研究は、普通の工学です。競合ラボや競合国家が存在する以上、「一社がやめる」だけでは弱い戦略です。どれも漫画的ではなく、リスクを最初に真剣に考えた人々を嘲笑するのは時間の無駄です。

推論が破綻する箇所

断絶は、目的地が固定されているという静かな前提にある。もし超知能が何があっても来るのなら、残された仕事は到着をできるだけ致命的でないものにすることだけだ。整列資金、評価、「責任あるスケーリング」はすべてその前提の下で理にかなう。それらは、終着状態を選べないと信じる世代の主要な道徳的プロジェクトになる。資金と名声のほとんどは、レースをより安全にする方に流れ、レースを人工超知能に終わらせる方には向かわない。

目的地は固定されていない。この種の目的地は選ばれるものだ。核兵器、オゾン化学、人間クローンはそれぞれ、政府が特定の最終状態を残存リスクに見合わないと判断した瞬間があった。超知能は永久にそのリストに加えられるべきだ。超知能は人間によって制御できない。

必然性という前提を捨てれば、ポートフォリオの見え方は変わる。レースを管理可能にするために費やされる希少な安全資本は、レースを終わらせるために使われない資本だ。フロンティアを遅らせてラボが「安全に追いつく」ためのガバナンスは、制御不能な知性を構築することを依然として計画として扱っている。後継種を作ってからそれを繋ぐことを前提とするアライメント研究は、研究プログラムと生存戦略を混同している。

帳簿は正しく、目的地を間違えた。

停止の後の研究、それに代わるものではなく

私は誰かにこの分野を燃やせと言っているわけではない。今日のシステムをより透明にし、悪用しにくくし、停止しやすくする研究は、今でも意味がある。超知能への道を検証可能な形で停止した後なら、強力なAIを制御する研究を、商業的なストップウォッチを絶滅リスクに張り付けることなく続けられる。順序こそが、すべての論点だ。

技術的アライメントを主要な答えとして扱いつつ、最先端ラボが同じスケジュールで規模を拡大し続けることが失敗する。問題の順序が逆なのだ。下振れリスクを制御できず、そのリスクが全員にかかわる場合、責任ある行動は 危険なものを構築するのをやめる. 。超知能は制御できません。狭いAIは動き続けます。すべての領域で人間の知能を超えるシステムの狭いクラスは、存在しません。