P(doom) 计算器

“P(doom)”指先进AI导致人类灾难的概率。它不是一个数字,而是五个判断的组合。移动滑块可设定你对每一项的看法,然后与认为风险达到一半或更高的研究者比较。基金会的立场很简单:不应构建人工超级智能。

1. 超级智能将在本世纪建成 90%

在类似当今竞争路径的情况下,AI系统在2100年前在大多数领域超越人类认知能力的概率。

2. 我们永远无法获得可靠的控制 80%

我们未能及时将此类系统置于可靠人类控制之下的概率。

3. 它被赋予了实权 85%

系统被部署并获得高风险访问权限(网络、工具、资金或物理系统)的概率。

4. 失败将是文明规模的 80%

失败是文明规模而非及时发现并遏制的概率。

5. 人类无法恢复 90%

灾难永久化的概率:灭绝或人类主导未来的不可逆丧失。

这个估计并非指向我们无法触及的事物。超级智能只有在我们持续建造的前提下才会出现。停止这个项目,P(doom)也会随之消失。

计算方式

每个滑块都是判断的一部分。计算器会报告这五个百分比的几何平均值。

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

把五个都设为80,结果就是80。把其中一个滑块下调,结果就会随之下降。五步产品若每步都输入相同数值,就会趋近于零:每步50%最终显示为3%。Hinton、Tegmark或Yudkowsky给出的数字不是这样算的。均值让你留在他们的尺度上。

Joe Carlsmith 2021年的报告采用前提的真实乘积,因此即使加入严格条件,其早期数值仍接近10%。请将此输出视为推理辅助。

P(doom) 估计
  • Yann LeCun
    Meta; 公开声明
    <1%
  • 中位ML研究者
    AI Impacts 2023 年对 2700 多名研究者的调查
    ~5%
  • Joe Carlsmith
    开放慈善报告,2021 年(后经上调)
    ~10%
  • Paul Christiano
    对齐研究者;公开估算
    ~20%
  • Geoffrey Hinton
    诺贝尔奖得主;访谈,2023-2025(范围高达约50%)
    ~50%
  • Daniel Kokotajlo
    前OpenAI;《纽约时报》2024年采访
    ~70%
  • Dan Hendrycks
    AI安全中心;公开声明,2023年
    >80%
  • Andrew Critch
    加州大学伯克利分校CHAI;公开估计,2024
    ~85%
  • Max Tegmark
    MIT;生命未来研究所;公开估算
    >90%
  • Connor Leahy
    推测;公开估计
    90%+
  • Eliezer Yudkowsky
    MIRI; 如果有人建造它,所有人都会死
    >95%
  • Nate Soares
    MIRI 主席;与 Yudkowsky 合著
    >95%
  • Roman Yampolskiy
    路易斯维尔大学;AI安全研究
    ~99.9%
所有工具 →