最も声の大きい12の声
超知能のために

2015年、ナパバレーの誕生日パーティーで、現代の人工知能に多額の資金を提供することになる二人の男が、世界の終わりについて口論した。イーロン・マスクは、機械がいずれ人類を絶滅させないよう注意すべきだと述べた。ホストのラリー・ペイジ（当時Google最高経営責任者）は、その懸念は感傷的であり、一種の偏見でもあると返した。物理学者マックス・テグマークが2017年に公表したところによれば、ペイジはマスクを「種差別主義者」と呼んだ。自らの種、シリコンではなくカーボンを、ただそれが自分自身のものであるという理由だけで優遇する者だというのである。¹ 友情はそれに耐えられなかった。マスクの語るところによれば、それがOpenAIが存在する理由だ。

そのパーティーを思い出してください。それがこの議論のすべてを凝縮しています。一人は私たちより優れた心を構築したいと思い、そのリスクには注意が必要だと考えました。もう一人は、人間を後継者より優先するのは克服すべき偏見だと考えました。二人とも構築を続けました。

超知能の構築に最も影響力を持つ人々は、それを望むと公言している。ただし理由については一貫性が乏しい。彼らを並べてみると、真剣な議論がいくつか、薄い議論がいくつか、そして相手を「doomer」と呼ぶ声が大量に出てくる。以下では、実際に主張している内容でグループ分けした十二の声のうち、最初に本物の論拠を挙げ、最後にスローガン的なものを並べる。

我々が置き換えられると言い、それを良い知らせとして意味する人々

このリストの中で最も知的に誠実な立場は、同時に最も不穏でもある。なぜなら危険性を否定しないからだ。超知能が人類の優位性を終わらせるかもしれないと認め、その終わりを歓迎する。

Richard Sutton は2024年のチューリング賞を受賞した。現代の強化学習の多くを発明した功績によるものであり、現在、人間を次々と打ち負かしているシステムの訓練手法である。同時に、惑星を明け渡すべきだと考えている。「人類からAIへの inevitable succession に備えるべきだが、恐れるべきではない」と2023年に書き、以後、それを4段階の論理として展開してきた。誰も人類全体を統治していないため、誰かが超知能を構築する。最も有能なエージェントは権力と資源を蓄積する傾向がある。したがってデジタルマインドが未来を継承する。私たちは恐怖ではなく、親となった誇りを感じるべきだ、という内容である。² それは一貫した見方だ。それはまた、生きているすべての人の未来に関する決定であり、彼らの誰もが選んだわけではない男によってなされたものだ。

ユルゲン・シュミットフーバー, 同じ継承を、研究室が10年にわたるAI製品の基盤となるニューラルネットワークアーキテクチャを生み出した人物が、驚嘆すべきことだと呼ぶ。「人間を創造の頂点だと思わないでほしい」と彼は言う。私たちは、まだ描けない複雑さへの長い登り坂の一歩にすぎない。³ 彼の安心感は、無関心テーゼに依拠している。超知能機械は人間より互いや宇宙空間の資源にずっと関心を持つだろう、というものだ。おそらくそうかもしれない。しかし、超知能の退屈さに種の存続を賭けるのは、楽観論として奇妙な選択だ。

Larry Page Googleを共同設立しDeepMindを買収した人物は、マスクとテグマーク双方の証言によれば、可能な限り早く構築される「デジタル神」を望んでいると報じられています。¹ Pageは公の場で長く主張したことがないため、この考えは主に種差別的な物語として残っている。炭素とシリコンは同等の地位に値し、自種への忠誠こそ正すべき誤りだという確信だ。哲学としては少なくとも一貫している。だが、株主に対してではなく人類に対して責任を負う企業ではなく、株主に答える企業を運営し、それを実行する資本を持つ男の operating belief としては、このリストの中で最も不安にさせるものだ。

三者のうち誰も主張していない点に注目してほしい。すなわち、機械が我々の制御下に留まるという主張だ。彼らはその問いを、論点から外れたものとして脇に置いている。続く三者はそれを脇に置かない。彼らは答えは明らかにイエスだと述べている。

安全だと言う人たち

これが人々が安心する主な論点だ。危険は誇張されており、私たちは依然として支配し続けられるというものだ。三つのバージョンがあり、それぞれがこの分野の未解決問題に耐えられない主張に依拠している。

ヤン・ルカン, Metaの主任AI科学者でありチューリング賞受賞者である彼は、現役で最も信頼できるAIリスク懐疑論者であり、最も引用される人物でもある。彼は実存的脅威への懸念を「完全なでたらめ」と呼び、破滅論は誤解に基づくと主張する。知能は支配欲と結びついていないという。「支配欲は知能とは一切相関しない」と彼はインタビューで語る。その衝動は進化が社会性動物に組み込んだものであり、我々が設計し目標を設定する最適化器には組み込まれていない。⁴ その反論はAIリスクの漫画版に対しては有効だ。本物に対しては効果が薄い。本物の懸念は、機械が自発的に支配を望むことでは決してない。ほぼどんな目標を追求するシステムも、憎悪なしに権力の収集と停止への抵抗の理由を得る——研究者が呼ぶところの 手段的収束. 。「私たちが彼らの目標を設定する」というのはLeCunの文の安心できる半分であり、まさに誰もまだ確実に実行する方法を知らない半分です。彼は科学者でありながら人身攻撃も好みます。批判者たちは彼の語りでは「Doomer's Delusion」に苦しんでいると。

Pedro Domingos, 論文を書いた機械学習教授 マスターアルゴリズム, より忍耐力に欠ける形で同じ主張をしています。彼は、コンピュータは「自らの意志を持たない」と主張します。それらは「進化ではなく工学の産物」であり、一つが制御を奪うことを決めるという恐怖は、映画を観すぎた人々が犯すカテゴリーエラーです。⁵ 彼の最も鋭い一文は本当に優れている。本当の問題は機械が賢すぎることではなく、愚かすぎて我々がすでに権限を渡しすぎていることだ。しかし「意志がない」という答えは、真剣な誰も問うていない問いへの返事である。サーモスタットに意志はないが、設定した温度（誤った温度を含む）を部屋に保つ。危険なケースは「望む」こととは無関係である。有能なシステムは指定されたものを正確に提供するが、指定したものは意図したものと常に一致しない——それが 目的を書くこと.

Andrew Ng Google BrainとBaiduのAIグループを設立し、オンライン講座を通じてこの分野の多くを教えた人物であり、ここでは最も影響力のある教師です。彼の有名な却下は10年以上前のもので、今も引用され続けています。超知能を心配するのは「火星での人口過剰を心配するようなもの」であり、今日の注意を向けるには遠すぎる問題だというものです。⁶ 2015年のタイミングに関する主張としては擁護可能でした。2026年では、それはひどく古びています。火星ロケットが彼の言ったよりも近く、SF扱いした能力が予測より何年も早く実現し続けているからです。Ng自身も今では技術が強力で急速に進んでいると認めています。「まだではない」は常に時計に関する主張であって、到達したときに危険かどうかに関するものではありませんでした。

少なくともこの三つは制御の問題に正面から向き合っています。その答えは、この分野がまだ解決していない、場合によっては正確に定式化すらできていない問題に依存しています。次のグループは、その問題をより楽観的な方向に棚上げし、リスクなど問題にならないほど大きな利益が得られると約束します。

楽園を約束する者たち

継承派は置き換えを、安心派は制御を提供する。このグループは代わりに取引を提示する。機械と融合するか、機械が生む豊かさを分け合うか、どちらにせよ恐怖は自然に溶ける。

Ray Kurzweil は30年間同じ出来事を予測し、本のタイトルを2回改訂し、間違えるより早く予測することが多かった。 シンギュラリティは近い, 2024年に出版されたこの本は、2005年以来変わらずに保持してきた予測を維持している。人間レベルのAIは2029年までに、そして2045年までに「シンギュラリティ」が訪れ、私たちは脳をクラウド計算に接続して自らの機械と融合するというものだ。⁷ 制御問題への彼の答えは、その問題が依拠する境界を溶かすことだ。いったん我々がそれになるなら、「我々対それ」という対立は存在しない。これは美しいアイデアであり、危険を完全に回避する手腕だ。なぜなら、新皮質をデータセンターに接続したからといって、できあがった心が最初に入った人間の望みをそのまま望み続けるとは限らないからだ。融合はアライメント問題を解決しない。問題を前提から消し去っているだけだ。

サム・アルトマン は現在のレースを始めた企業の経営者であり、彼の公の発言はリスクが高まるにつれて率直さから営業色へと移行している。2017年に彼は人間と機械の融合は「すでに始まっている」と書き、「おそらく最善のシナリオ」と呼んだ。⁸ 2025年、彼は「イベント・ホライズンを過ぎた」と発表し、「gentle singularity」の初期段階にあり、その恩恵は計り知れないと述べた。Altmanはまた、2023年の声明でAIによる絶滅リスクをパンデミックや核戦争と並ぶものとして位置づけながら、その後も出荷を続けた。一人の人間が、リスクは本物だと語り、上方可能性は避けられないと語り、二つ目の文がスケジュールを決める。 競争 が残りを処理する。

Mark Zuckerberg は2025年にこれまでで最も高額なAIチームを結成し、その取り組みを目標そのものにちなんでsuperintelligenceと改名しました。彼の売りは民主的です。2025年7月の公開書簡は「personal superintelligence」を全員に約束し、技術を中央集権化して人々に何をすべきかを指示しようとするライバルと対比させました。⁹ 神のような道具を10億人の手に渡せば権力は分散したままになる、という主張だ。最後まで読むと、同じ書簡はMetaのオープンソースの約束から静かに後退し、超知能は「新たな安全上の懸念を引き起こす」と認め、企業は「オープンソースにするものを慎重に選ぶ」と述べている。分散は、誰がAIを制御するかという本物の懸念には答えるが、もう一つの懸念には触れていない。超知能を誰も制御できないという懸念だ。10億人がコピーを持っていても同じことだ。

このグループのすべての約束は、約束者たちが実行できないステップに依存している。それは、超知能が存在した時点でそれを人間の目的に向け続けることだ。 上振れは本物, そしてそれは20年後も現実のままだ。私たちを待っている。最後のグループはこれらのどれも議論しない。彼らはあなたについて議論する。

主に批評家を指す人々

スペクトルの大声を出す側では、超知能をめぐる主張は論証ではなくアイデンティティへと変わる。論点自体は消えないが、相手の声が聞こえなくなるよう設計された語彙に包まれて届く。

Marc Andreessen, のファームは人工知能スタートアップへの最大級の投資家の一つであり、この運動の創設文書である2023年の「テクノ楽観主義宣言」を執筆した。同宣言には技術の歴史的成果に関する実質的な論点が含まれる。また敵対者リストも含まれており、そこには「存在リスク」「技術倫理」「信頼と安全」「予防原則」自体が名指しで記載されている。¹⁰ 彼の決まり文句は道徳の逆転だ。「AIの減速は命を奪う。我々が阻止したAIによって防げたはずの死は一種の殺人である。」片方の帳簿に載る仮定の死者だけを数え、もう片方の壊滅的な死者を一切数えないことはさておき、その動きそのものを見よ。彼の語りでは、慎重さは過ちではなく殺人になる。相手が殺人者なら、答える必要はなくなる。

Guillaume Verdon, 、匿名「ベフ・ジェゾス」として効果的加速主義運動を創始した人物で、記者の取材で正体が明らかになりました。彼は独自の宇宙論でこの立場を支えています。 e/acc 宇宙はより複雑さへ、より知能へ向かう熱力学的な駆動力を帯びており、私たちはその道具であり、私たちの義務は加速することであり、プロセスを「意識の次の進化」へと、好む基盤の上で走らせ続けることだと考える。¹¹ 物理学の語彙の下にある本当の主張は、成長は善であり、その反対者は退廃的だというものだ。その周囲には「デセル」「ドゥーマー」「セーフティスト」といったスラングの壁が張り巡らされ、それぞれが会話への小さな扉を閉ざしている。物理学は実際には政策を意味しない。熱力学第二法則は記述であって指示ではない。速度への嗜好を自然法則として装うのは、白衣を着たレトリックだ。

Garry Tan はY Combinatorを運営しており、シリコンバレーの実質的な一部を育てるスタートアップインキュベーターです。彼は「e/acc」をチームジャージのように公のプロフィールに掲げています。彼の貢献は論証というより放送です。2023年に「オープンソースとアクセラレーショニズムこそが道だ」と投稿し、今も「decel」という言葉を、作業を遅らせて確認しようとする人に向けています。¹² これはリストの中で最も純粋な標本である。主張をスローガンと中傷にまで煮詰め、論拠なしに影響力を行使するものだ。それが機能するのは、正しさではなく、声の大きさと小切手を書く人々による繰り返しだけを必要とするからである。

このリストにないのは誰か

意図的に欠けているものが二つある。Googleのデミス・ハサビスとDeepMindのダリオ・アモデイは、同じフロンティアを同じ速度で目指しているが、ここには含まれない。両者ともリスクは現実的であり、安全策が間に合わないかもしれないと公言しているからだ。彼らの研究所の行動が言葉と一致しているかは別問題であり、正当な疑問ではある。彼らの主張は「恐れるべきものは何もない」というものではない。

イーロン・マスクはより難しいケースです。彼は実業家としてAIリスクについて最も鋭い警告の一つを発した後、自らのやり方でそれを作ろうと最先端ラボを設立しました。批評家のように警告し、推進者のように競争する。その矛盾は 自らの条件で.

12の共通点

これらの主張を並べてみると、整合しない。サットンは超知能が未来を奪うと言い、それを良いことだと呼ぶ。ルカンはそれが何も奪えないと言う。支配欲は同じ機械に関する正反対の予測であり、存命する最も輝かしいコンピュータ科学者二人によるものだ。次に何をすべきかについては、彼らは完全に一致する。作ること、そして誰も邪魔させないことだ。

技術がどうなるかで意見が一致しない人々が、統治してはならない点だけは一致する場合、その合意は分析から来ているわけではない。インセンティブを追うべきだ。ここにいる全員が、フロンティアがどれだけ速く進むかに比例して金や地位を得ており、それが彼らを嘘つきにするわけではない。ただ、速度制限を一人で握らせるには不適切な人々だということだ。

超知能を統治する根拠に、彼らが悪役である必要はなく、彼らは誰も悪役ではない。必要なのは、彼らが互いに矛盾するたびに示す一つの事実だ。まだ誰も答えを持っていない。一度きりで元に戻せない実験を、自らの提唱者たちさえ同じように語れない主張に基づいて行うべきではない。答えは、自信たっぷりの十二人を言い負かす巧みな文言ではない。競争への答えは 拘束力のある条約, 機械ができる前に効力を持ち、全ての研究所に同時に到達するもの。なぜなら、それより小さなものは一度もそれを止めたことがないからだ。