P(doom) 计算器
“P(doom)”指先进AI导致人类灾难的概率。它不是一个数字,而是五个判断的组合。移动滑块可设定你对每一项的看法,然后与认为风险达到一半或更高的研究者比较。基金会的立场很简单:不应构建人工超级智能。
这个估计并非指向我们无法触及的事物。超级智能只有在我们持续建造的前提下才会出现。停止这个项目,P(doom)也会随之消失。
计算方式
每个滑块都是判断的一部分。计算器会报告这五个百分比的几何平均值。
P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5
把五个都设为80,结果就是80。把其中一个滑块下调,结果就会随之下降。五步产品若每步都输入相同数值,就会趋近于零:每步50%最终显示为3%。Hinton、Tegmark或Yudkowsky给出的数字不是这样算的。均值让你留在他们的尺度上。
Joe Carlsmith 2021年的报告采用前提的真实乘积,因此即使加入严格条件,其早期数值仍接近10%。请将此输出视为推理辅助。
P(doom) 估计
- Yann LeCun
Meta; 公开声明<1% - 中位ML研究者
AI Impacts 2023 年对 2700 多名研究者的调查~5% - Joe Carlsmith
开放慈善报告,2021 年(后经上调)~10% - Paul Christiano
对齐研究者;公开估算~20% - Geoffrey Hinton
诺贝尔奖得主;访谈,2023-2025(范围高达约50%)~50% - Daniel Kokotajlo
前OpenAI;《纽约时报》2024年采访~70% - Dan Hendrycks
AI安全中心;公开声明,2023年>80% - Andrew Critch
加州大学伯克利分校CHAI;公开估计,2024~85% - Max Tegmark
MIT;生命未来研究所;公开估算>90% - Connor Leahy
推测;公开估计90%+ - Eliezer Yudkowsky
MIRI; 如果有人建造它,所有人都会死>95% - Nate Soares
MIRI 主席;与 Yudkowsky 合著>95% - Roman Yampolskiy
路易斯维尔大学;AI安全研究~99.9%
更多交互式工具
所有工具 →