滅亡確率計算機

"滅亡確率"とは、先進AIが人類に破局をもたらす確率のことだ。それは一つの数字ではない。五つの判断がそこに入る。スライダーを動かしてそれぞれの見方を設定し、リスクを半分以上と見る研究者と結果を比べてほしい。財団の立場は単純だ。人工超知能は作るべきではない。

1. 今世紀中に超知能が構築される 90%

今日のような競争的な道筋を続けた場合、AIシステムが2100年までにほとんどの領域で人間の認知能力を超える確率。

2. 信頼できる制御は決して得られない 80%

そのようなシステムを信頼できる人間の制御下に置くことに失敗し、止めるのが手遅れになる確率。

3. それに実権が与えられる 85%

高リスクのアクセス（ネットワーク、ツール、金銭、物理システム）を伴ってシステムが展開される確率。

4. 失敗は文明規模になる 80%

失敗が時間内に捕捉・封じ込められるのではなく、文明規模である確率.

5. 人類は回復できない 90%

大惨事が恒久的な確率：絶滅または人間主導の未来の不可逆的喪失。

この推定は、私たちの手の届かない何かの予測ではありません。超知能は、私たちが作り続けなければ構築されません。そのプロジェクトを止めれば滅亡確率はそれとともに低下します。

これの計算方法

各スライダーは判断の一部分だ。計算機は5つのパーセンテージの幾何平均を報告する。

滅亡確率 = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))^1/5

5つすべてを80に設定すれば結果は80になる。1つでも下げれば結果はそれとともに下がる。5段階の積み上げなら同じ入力でもゼロに近づく。各段階50%なら全体で3%程度にしかならない。HintonやTegmark、ユドコウスキーが数字を述べる方法はこれではない。平均値は彼らの尺度に合わせたものだ。

Joe Carlsmithの2021年報告書は、前提の真の積を用いたため、深刻な条件付きであっても初期値が10%近くに留まった。この出力を推論の補助として扱え。

滅亡確率推定

よりインタラクティブなツール

滅亡確率 計算機