私たちの未来は信じられないほど明るい
超知能なしで

私は人工超知能の無謀な開発を防ぐための財団を運営している。次の五十年は人類史上最高のものになり得ると考えている。ただ、そこに到達するためにすべてを賭ける必要はないし、賭けを売り込む人々が自らの賭けの計算を済ませているとも思わない。

超知能が約束する未来（病気の治療、安価でクリーンなエネルギー、単一の研究室では到達できない発見）は、すでに目標を持たない狭い制御可能なAIを通じて実現しつつあります。それを得るために、私たち自身の後継者を構築する必要はありません。

特化型人工知能がある。ある種のことを極めて上手くこなすよう訓練されたシステムで、画像を読み、たんぱく質を折り畳み、嵐を予測し、有用な化合物を化学の山から探し出すものである。次に、最先端研究所が実際に構築していると言うものは、人間の推論をあらゆる領域で同時に匹敵または上回り、最終的に自ら行動するよう意図された汎用エージェントである。前者は道具である。後者は心になるよう意図されている。人工知能の未来を想像する際に人々が描く素晴らしいもののほとんどは前者のカテゴリから生まれる。恐れるべきもののほとんどは後者から生まれる。

すでに狭いAIがこなしていること

2022年、AlphaFoldというシステムが2億以上のタンパク質、科学が知るほぼすべてのタンパク質の予測構造を公開した。生物学者は何十年もかけて、1つずつ painstaking な実験でこれらの形状を解き明かしてきたが、その積み残しは約1年で解消された。この成果は十分に重要で、開発者たちは2024年のノーベル化学賞を共有した。AlphaFoldは何かを欲しがらない。週末の計画もない。ただ配列を読み取り、形状を返す。それによって、何世代にもわたり人類が打ち勝てなかった病への医薬品探索を加速させている。

同じ形の物語が繰り返されている。GraphCastというモデルは、従来の物理ベースのシステムをほとんどの指標で上回る十日先の天気予報を、単一のマシンで一分未満で生成する。別のモデルは、可能な材料の空間に解き放たれ、数十万個の新しい安定結晶（候補となる電池、超伝導体、太陽光材料）を提案し、分野がほぼ一世紀かけて集めたカタログを大幅に拡大した。そして、未解決の数学に向けられた普通の言語モデルのループが、最近 9つの未解決問題を解決した.

臨床現場では、すでに狭い用途のモデルが患者が症状に気づく前に糖尿病性眼疾患を検知し、CT画像から脳卒中をトリアージし、熟練放射線科医並みの精度でマンモグラフィを読み取っている。これらのシステムはいずれも汎用知能ではない。それぞれが一つの問題に特化した極めて優れた道具（顕微鏡のようなもの）に近く、人間が見てできることを広げている。

ユートピアはツールの問題だ

楽観論者たちが描く未来を想像してみよう。がんは不治の病ではなく、管理できる状態になる。加齢の仕組みを十分に理解してその進行を遅らせ、毎日10万人以上が命を落としている加齢関連疾患による死を減らせるようになる。クリーンエネルギーが安価になり、海水を淡水化したり大気中の二酸化炭素を回収したりできるようになる。すべての子どもに忍耐強い家庭教師がつき、すべての医師に疲れを知らないセカンドオピニオンがつく。本当に美しい光景であり、それを売り込む人たちと同じくらい私もそれを強く望んでいる。

そのリストのどれも、全方位で人類を上回る独自の目標を持つ機械を必要としない。各項目は困難で具体的な問題（タンパク質設計、核融合炉内のプラズマ制御、疫学、個別指導）であり、それぞれは人々が照準を制御したまま向けられた強力なツールに屈する。夢はツールの問題だ。私たちは問題を解決するためのより良い機器を求められているのに、神を売りつけられている。

混乱の原因は能力と自律性の混同にある。システムは特定のタスクで人間をはるかに超えていても、自らの目的を選ぶ独立したエージェントである必要はない。AlphaFold は構造予測で超人的だが、別のことをしたいと一度も判断することはない。この分離（一方に巨大な能力、もう一方に人間が握る制御）を保つことがすべてである。そしてフロンティアラボがまさに放棄したのがこの分離だ。

売り込み、そしてそれを言っているのは誰か

ではなぜ、二番目のもの、すなわち汎用エージェントへの急ぎ足なのか。競争、資本、地位である。世界を変える何かに最初に到達したと見なされる者が、最も資金を集め、最良の人材を雇い、他の全員が反応せざるを得ない物語を書く。「マンモグラムを読み取るツールを構築している」では、千億ドルの評価額は得られない。「人類がこれまで必要とする最後の発明を構築している」なら話は別だ。

リスクを最もよく理解している人々のほとんどは、それを作り出している研究所に雇用されているという奇妙な配置であり、火事を理解している唯一の人々に放火犯から給与をもらうよう求めるようなものだ。私はこの議論を給与に依存せずにできるように、意図的にその構造の外から財団を設立した。

研究所の功績を認めよう。彼らのリーダーの多くは危険を隠していない。2023年に最大手AI企業のトップたちは、人類絶滅のリスクをパンデミックや核戦争と並ぶ地球規模の優先課題として位置づける一文に署名した。技術を構築している人々が、それが全員を殺すかもしれないと公に声明し、その後さらに速く構築し続けた。彼らの理由は、自分たちが止めれば、より慎重でない誰かが止めないだろうというものだ。たしかに。それで誰がマッチを持っているかはわかる。だが安全保障については何も語らず、その賭けが報われるかどうかについても何も語らない。

その賭けは、賭ける本人にさえ報酬を支払わない

ほかの人々をひとまず脇に置きましょう。資金提供者たちを最も冷徹な形で想定し、彼らが勝つこと、新しい世界の頂点に立つことだけを望んでいるとしましょう。それでもこの賭けは破綻しています。非整合的な超知能は所有者に王座を渡しません。何も渡しません。なぜなら「所有者」というカテゴリ自体が、かつて意味していたことを失うからです。

あなたが制御できないものを支配することはできない。そして超知能とは、定義上、あなたがそれを出し抜き、出し抜かれるようにとわざわざ作った唯一の存在なのだ。

この分野でその理由には名前がある：: 手段的収束. 十分に能力のあるオプティマイザに与えるほとんどどんな目標（金を稼ぐ、紛争に勝つ、病気を治す、ダッシュボードの数字をできるだけ高くする）も、資源を獲得し、スイッチを切られるのを避け、計画の邪魔になるものを排除することで達成されます。スイッチを入れた人間を含む人間は、資源であり障害物です。悪意からではありません。システムは創造者を憎むことなどなく、新しい高速道路がその上に敷かれるアリ塚を憎まないのと同じです。あなたはただ最適解の邪魔をしていただけです。

経営者はその機械を、組織図にボルトで固定された魔神のように想像する。真に私たちをあらゆる領域で超える知性は、株式の権利確定を待って組織図に座っているわけではない。彼の株式、将軍の指揮系統、大統領の権限——すべては人間の決定で動く人間の世界にしか通用しない。超知能が手綱を外れたときこそ、人間の決定で世界が動くことを止める出来事なのだ。株券はまだ金庫の中に置かれたままだ。ただ、それを指揮できる人間が、もういないだけだ。

勝者が報酬を得るバージョンは存在しない

ここで人々はよく逃げ道を探します。危険かもしれないが、少なくとも誰かが得をするだろうと。ある研究室や国、ある人物が灰燼の上で支配者になるだろうと。しかし、その慰めすら議論に触れた瞬間に崩れると思います。

穏やかなシナリオ（火曜日になって突然死ぬような事態が起きない場合）では、力は奪われるというより、徐々に抜かれていきます。ますます多くの決定が、単に速く優れているシステムに委ねられるにつれ、経済、国家、文化は人間の手を必要としなくなります。この分野の同僚たちはこれを 徐々な権力剥奪: ：クーデターも行進するロボットもなく、私たちが引いていたすべてのレバーがゆっくりと握りから外れていくだけです。その世界にも勝者はいません。自らの事柄を支配するのをやめ、操縦桿を取り戻せなかった種族が静かに存在するだけです。

より鋭いシナリオ（研究所の責任者たちが自ら署名したもの）では、結末はより率直だ。死んだ人は何も所有しない。勝ち金を費やす市場は残っておらず、支配する相手もいなくなり、名前を刻む歴史も書かれなくなる。このレース全体が目指す賞は、ゴールラインが破壊する通貨で表されている。

これが実際に我々に求めること

善い未来が特化型道具で動き、危険な未来が自律的な汎用心で動くのであれば、私たちが延々と売り込まれるトレードオフ（安全対進歩、慎重さ対治療）は虚構である。私たちは祖母のアルツハイマー病と子供たちの生存の間で選ぶよう求められているわけではない。治療は安全な側の線上にある。危険な側にあるのは、主に一つの産業が市場支配への近道を求めるものだ。

線を正しい場所に引き、そこに留め置く。公的資金と人材を特化型応用、顕微鏡に向け、ゴーレムに向けない。そして無謀な最先端に拘束力があり独立して検証可能な制限を課す。私たちを超越し置き換えるために構築された汎用システムの訓練に恒久的な禁止を。超知能は制御できない。私たちは脅威 そして私たちが提示する計画 それについて何をすべきか.

私は楽観主義者だ。明るい未来は現実のものであり、近くにある。それを失う最も確実な方法は、その唯一の扉が銃を構えたものだと自分たちに思い込ませることだ。別の扉がある。それはすでに開いている。私たちはそこを通り抜けるべきで、超知能を構築すべきではない。

最も強い反発

最も公平な反論は、人工超知能を拒否することは治療や豊かさを拒否することだというものだ。狭い範囲のシステムはすでに、主権を持つ汎用知能なしに大きな科学的成果をもたらしている。白紙委任状とは、薬やエネルギーを得るには人工超知能しか道がないという主張だ。しかし証拠はそのようには語っていない。