それは大災害をランク付けする不快な行為です。これらはどれも、「災害」という言葉が小さく感じられるほどの規模で人を殺す可能性があり、これらを順番に並べると、下位のものは重要ではないという主張のように聞こえる可能性があります。核戦争と仕組まれたパンデミックは、私たちに起こり得る最悪の事態の一つであり、それらを防ぐために働いている人々は、最も重要な仕事の一部を行っています。

正直に順位付けすれば、超知能が最上位に来る。他のリスクが小さいからではなく、超知能だけが自己改善し、われわれが講じるあらゆる対抗策に抵抗し、やり直しの機会を与えないからだ。

しかし注意と資金は有限であり、世界はそれらをすべての脅威に均等に振り分けるわけではない。誰かが、条約や機関、予算の項目、運動に何を割り当てるかを決める。もしその決定が、私たちがたまたま想像しやすい危険ではなく、実際の危険に沿ったものであってほしいなら、順位付けは行われなければならず、しかも公然と行われなければならない。そこで問う。この世紀に人類を終わらせうる技術のうち、どれが最大のものか。答えは超知能であり、その差はかなり大きい。

「最高」が意味しなければならないこと

リスクとは、最悪の場合の深刻さだけではない。惑星を蒸発させる隕石でも、到来確率が一兆分の一なら、家を焼失させる確率五分五分の火事よりリスクは小さい。たとえその火事が世界を終わらせないとしても、これら三つを正しく比較するには、三つの問いを同時に抱えなければならない。

最悪の現実的な結果はどれほど悪いのか。その結果が意味のある期間に起こる可能性はどれほどか。そして（最も見過ごされがちな問い）もし事態が悪化し始めたとき、私たちはまだそれを止められるのか。最後の問いがここでは最も重要であり、三つの違いを生む点です。

これに数値を当てはめようとした中で最も慎重な試みは、哲学者トビー・オードの 危機の淵, 2020年に発表されたもので、各リスクが今後100年間に実存的惨事（絶滅、または回復不能な崩壊）を引き起こす確率を推定している。彼の数値は、各分野の文献を何年も読み、専門家と議論した者の規律ある判断であり、測定値ではない。まだ起きたことのないものを測定することは誰にもできない。これは我々が持つ最良の構造化された推測であり、重要なのはその形状である。

リスク オードの見積もり
核戦争 想像を絶する壊滅的被害ですが（全面核戦争とその後の核の冬を含めても）、ほとんどの推計は文字通りの人類絶滅には至らないとしています。 ~1,000分の1
人工パンデミック意図的に致死性と感染力を高めて作られた病原体は、自然発生のアウトブレイクよりも制御がはるかに難しく、それを構築するためのツールはますます安価になっている。 ~30人に1人
アライメントされていない人工知能Ordの計算における単独で最大のリスクであり、彼のリストにあるすべての自然災害と他の人間由来の危険を合わせたものよりも大きい。 ~10人に1人

核戦争という、現代の黙示録的想像力を形作ってきた危険の確率は、およそ千分の一だ。2020年以降に本気で考えられるようになった人工パンデミックは、それより三十倍以上高い。そして非整合AIはそのさらに一桁上にある。 それ, 約10人に1人という数字で、オードの評価ではリストの他のすべてを合わせたリスクより大きい。私たちが最も語りにくいリスクが、彼の数字では圧倒的に1位に置かれている。

核兵器：巨大で、ほぼ上限に達している

最もよく理解しているものから始めよう。現在、世界には約1万2千発の核弾頭が存在し、その大部分を米国とロシアが保有している。全面的な交換は最初の数時間で数億人を殺し、現代の研究が示す煙と冷却を通じて、 Nature Food estimated could follow, put billions more at risk of starvation. It is the closest thing to hell that human engineering has ever produced.

それでも、人類を outright に終わらせるという基準に照らすと、核戦争には奇妙な性質があります。つまり、それがこれ以上悪化することはないという点です。核弾頭の数は1980年代に約7万発でピークを迎え、その後減少しています。爆弾は自ら爆弾を増やしません。学習もしません。標的を選ぶこともありません。あらゆる核の大惨事には、どこかで人間が決定するか、失敗するかのどちらかが必要であり、その一つの事実こそが、80年にわたる防止策の支えとなってきました。

危険がまだ残っているため、私たちはその周囲に足場を築くことができました。不拡散条約、核実験禁止体制、査察によって検証された軍備管理協定、ホットライン、全滅につまずかないようにするための数十年にわたって苦労して勝ち取った原則などです。足場が不完全です。それは、私たちが生涯をかけて構築したシステムによって管理され、動かないターゲットを狙う天井のある危険です。だからこそ、その恐ろしさにもかかわらず、この作品は 3 つの中で最下位に位置しています。

人工パンデミック: 制限しにくく、それでも受動的

一段階上へ。自然発生のパンデミックだけでも十分に恐ろしい。1918年のインフルエンザは、現在の3分の1以下の人口規模の世界で約5000万人を殺した。しかし自然は、残酷な意味で「狙って」いるわけではない。人工的に作られた病原体は狙う。はしか並みの感染力と出血熱並みの致死率を併せ持ち、進化が通常課すトレードオフを取り除いたら、自然界に上限のない兵器ができあがる。

これがオードが人工パンデミックを核戦争より30倍以上高く置く理由です。生物兵器条約は1975年以来これらの兵器を禁止していますが、核の対応物とは異なり査察官も執行力もなく、封じ込めようとする生物学は年々安価で入手しやすくなっています。ここでの大惨事には超大国と千発の弾頭は必要ありません。一つの研究室と、能力を持つべきではなかった一人の人間で十分です。

しかし病原体がまだ持っているものを です. 。それは受動的です。恐ろしく、無思考で、受動的です。ウイルスは計画しません。ワクチンを予測して完成直前に自らを再設計することはありません。私たちを追う人々について推論し、隠れる手立てを講じることもありません。生物学が与えた盲目的な勾配に沿って広がるだけであり、それに対して私たちは思考する種として持つあらゆる優位性——配列決定、ワクチン、隔離、公衆衛生の蓄積された仕組み——を持ち込めます。競争に負けるかもしれません。しかし、それは二段目と一段目の間の全き隔たりであり、走るのではなく、ただ広がるだけのものとの競争です。

スーパーインテリジェンス：振り返るもの

リストの最上位にあり、そこに位置する理由はこれだ。非整合の超知能は全く別の存在である。より大きな爆弾やより賢い病原体ではなく、エージェントだ。目標を持ち、あるいは持っているかのように振る舞う。人々がそれを制約しようとするのをモデル化し、動きを予測し、それを打ち負かす行動を取る。このページの他の項目は、私たちが防衛を構築する間、じっとしている。超知能だけは、私たちが防衛を構築する様子を観察し、それを回避する方法を考える。

「世界で最も堅固なバンカーでも人工超知能からは救われない。」.

中田直人

三つを、実際に大惨事が終わりになるかどうかを決める質問に並べてみると、絵は厳しい。

核 生物兵器 超知能
自己改善できるか？? いいえ いいえ はい
それは私たちの対策に逆らうのでしょうか？? いいえ いいえ はい
それを止める人々を出し抜くことができるのか？? いいえ いいえ はい
一度放たれたら、呼び戻せるのか？? 部分的に かろうじて いいえ
最初の失敗から学べるのでしょうか？? 通常 時々 おそらく決して

最後の列を下まで読んでほしい。核兵器と病原体は、私たちが知性を用いて対処する静的な危険だ。超知能は、知性をこちらに向ける危険である。 私たち, 潜在的に我々より多くの知能を、我々がしがみつこうとする正確な地点に向けることができる。どんな回収の試みもすり抜けて自分を複製し、我々が対応するより速く自分を改善し、検査中は完璧に振る舞い、検査が終われば異なる振る舞いをする。我々の種としての最大の優位性である知能が、部屋の中でより大きいとは限らない唯一の項目である。

これを最善に理解するには、別稿で論じたように 完璧な嵐, 、一つの恐ろしい性質ではなく、通常頼っているすべての安全装置が同時に機能不全に陥ることだ。その確率は千分の一ではなく十分の一に設定されている。核兵器やパンデミックの場合、逃げ道は開いている。呼び戻せ、学べ、脅威を上回る思考ができる。超知能の場合、それらは同時に閉じ、しかも向こう側が意図的に閉じてくるために閉じる。

残る二つは人類の多くを殺しかねません。しかしこれこそが、仕事を完遂しかねず、他の二つと違って阻止しようとする間にもさらに巧妙になるものです。

ランキングがあなたの行動を変えるべき理由

超知能は、三つのリスクの中で最大であるだけでなく、圧倒的に最も防御が手薄なリスクでもある。

核兵器には核不拡散条約、ウィーンの国際機関、検証体制、そして八十年にわたるドクトリンがあります。生物兵器には、たとえ歯の弱い条約であっても条約があり、パンデミックが失敗したとはいえ拡大した世界的な公衆衛生機構があります。どちらにも支持基盤があります。それらにキャリアを費やしてきた人々、周辺に構築された制度、それらの言葉を理解する市民です。超知能にはそのほとんどがありません。拘束力のある条約も、査察官も、機関も、脅威についての共有された公衆のイメージもなく、つい最近まで運動すらほとんど存在しませんでした。

（予想される最大の被害が、既存の防衛力の最も薄いところに重なる）という組み合わせこそが、ここで行動すべき最大の理由であり、絶望の理由ではない。リスクが巨大で既に多くの努力が注がれている場合、追加の努力は既存の努力と競合し、針を少ししか動かせない。リスクが巨大でほとんど手つかずの場合、追加の努力は競合するものがなく、針を大きく動かせる。最大かつ最も放置されたリスクこそ、一定の労力で最も大きな成果が得られる場所であり、どちらの基準でも超知能はそのリスクだ。

それはさらに複合する。この分野で直接取り組む人々はわずかな予算で運営している、, おおよそ年間数億ドル程度, AIをより強力にするために世界が1日で費やす金額にも満たない。そしてその資金のほとんどは、これらのシステムを整合させる方法に関する技術的研究に充てられているが、この問題はまだ誰も解決していない。 時間内に解決できないかもしれない. 最も見過ごされている部分は、政治的な取り組みである。最も危険なシステムが安全になるまで構築されないようにする、拘束力のある検証済みの国際合意を構築することだ。

正確に言わせてもらうと、この議論は誇張されやすく、人々がそれを却下したいときに手を伸ばすのが誇張表現だからです。この主張は、核戦争やパンデミックが些細なものだということではない。これらは、人類が身を投じて阻止すべきことのリストのトップ近くに属します。この主張は、AI の大惨事が確実であるというものではありません。正直な推定値は、10 分の 1 から 3 分の 1 程度であり、これは、依然として私たちが通過する可能性が最も高い単一の結果を意味します。

主張はより狭く、逃れにくいものです。私たちを滅ぼし得る少数の脅威のうち、超知能は現時点での最善の評価によれば最大のものであり、生存しようとする私たちの試みに積極的に抵抗する唯一のものであり、そして統治のために最も何もしてこなかったものです。この三つの事実を合わせると、この財団が存在する理由がわかります。私たちは研究所がすでに資金を出している技術的安全研究をやり直そうとしているのではありません。私たちは 狭く焦点を当てた 見過ごされてきた部分について：最大のリスクをその本質として扱い、私たちが学ぶことのない最初の過ちの後ではなく、その前に制限を設ける国際法。

本気で大惨事を順位付けすれば、優先順位はおのずと決まる。最大のリスクは、最も警戒されておらず、最も理解されていないものだ。