'誰かが作れば、みんな死ぬ':
議論の解説

結論をタイトルに明記する本は少ない。 誰かが作れば、みんな死ぬ, 2025年にMachine Intelligence Research Instituteのエリエザー・ユドコウスキーとネイト・ソアレスによって出版されたこの本は、まさにそれを行う。主張は、今日のような方法で超知能AIを構築するグループがあれば、その結果は最悪の場合ではなく、デフォルトで人類絶滅だという。これは分野で最も妥協のない立場を一般読者向けに提示したものであり、議論を主流に押し上げた。

この本は理解する価値がある。悲観論をこれほど明快に述べたものは他にないからだ。

3つの動きによる論証

本書は三部構成である。

まず、危険性の根拠から始めます。私たちは、人間をはるかに超える能力を持つAIを構築する軌道にあります。そのようなシステムに、人間の生存と繁栄に真に沿った目標を与える方法はわかっていません。現時点で指定可能なほぼどんな目標を追求する超知能システムも、人類を障害物または資源として扱うでしょう。著者たちは、私たちが他の場所で扱うのと同じメカニズムに依拠しています。能力が善意を意味しないこと、能力ある最適化者は修正に抵抗すること、システムが実際に何を望んでいるかを検証できないこと、です。彼らの独自の主張は、これらの問題が解決に近づいていないこと、そして失敗が「悪い」ではなく「致命的」であるという確信の強さにあります。

第二に、具体的な物語。危険を抽象的に残さず、本書は超人的AIが権力を握り、人間の制御を終わらせる具体的なシナリオを語る。著者らは、どの物語も細部ではありそうにないことを明言している。目的は抽象的なメカニズムを鮮明にすることだ。

第三に、何をすべきか。彼らの処方箋は診断と同じくらい率直だ。超知能AIの開発を国際的に停止し、真剣に執行する。フロンティアシステムの訓練に必要なコンピューティングハードウェアの管理を含め、永久に維持する。超知能は人間によって制御されるものではなく、ただ希望するだけのものである。

本書の核心的主張は、現在の道筋では失敗が当然予想され、失敗とは全員が犠牲になることであり、AIが失敗するかもしれないということではない。

最も強い反対意見

最もよくある反論は、その確実性に向けられる。批評家たちはAIリスクが現実的かつ深刻であることは認めつつ、絶滅がほぼ不可避であるという点は退け、能力がどれだけ速く伸びるか、アライメントがどれだけ困難か、乗っ取りがどのように進むかといった争点のある前提を、証拠が裏付ける以上に自信たっぷりに扱っていると主張する。また、書籍が示すよりもアライメントの進展は有望だと主張する人や、暗い見通しが逆効果で、人々を行動ではなく運命論に追いやると指摘する人もいる。

これらは正当な指摘だ。本書の確信度の高さは、最も議論を呼ぶ特徴でもある。確信が過剰だと感じつつも、議論の核心が依然として不穏であることに気づくかもしれない。異論の多くは「どれだけ確かか」を攻撃するものであり、「リスクが実在するか」を否定するものではないからだ。

Foundationの立場

私たちは本の中心的な確信を共有しています。つまり、超知能をどうやってアライメントするかわからないこと、現在の軌道でそれを構築するのは容認できない賭けであること、そして問題が解決するまで停止することが責任ある対応だということです。私たち自身の執筆ではなぜ アライメントは解決不可能かもしれない と理由 非アライメントの超知能は良い未来をもたらさない.

我々が異なるのは、強調点とトーンである。本書は、整列問題が時間内に解決できるかどうかについて、ほぼ絶望に近い。われわれは本書自身が支持する解決策、すなわち国際的な拘束力のある停止の実現可能性に重きを置き、それを希望の薄い望みではなく、実際の前例を持つ具体的な政治・法的プロジェクトとして扱う。 超知能に関する声明, この分野の創設者たち自身が多く署名したものは、停止を求める声が主流になったことを示している。 のすべての主張を受け入れる必要はない。 誰かが作れば、みんな死ぬ その処方箋が理にかなっていると結論づけるために。期待値の議論は、 滅亡確率, 著者らが持つよりもはるかに低い確信度でもそこに至る。その処方箋を現実にするのは 私たちの計画.