P(doom)不是正式论文中的技术术语。它在在线AI安全讨论中出现，作为大多数2020年前研究者根本不会给数字的概率估计的简写。愿意量化它（将AI灾难风险视为可估计的概率而非模糊暗示的可能性）是与AI开发最接近的人思考问题方式的重大转变之一。
估算范围从百分之几到超过50%，取决于研究者如何评估对齐难度和治理速度。以下是这一范围告诉我们的信息，以及为什么即使概率较低也需要认真对待。
P(doom)中的“末日”故意未作具体定义。不同研究者用它指人类灭绝、人类自主权的永久丧失、权力永久集中于单一行为体，或其他某种文明灾难。这种不精确是公认的；该术语的意义在于迫使人们对风险进行明确的量化推理，而不是依赖“真实”或“推测”这类直觉。
估算的样子
这些研究者之间的范围差异显著。Hinton与Yudkowsky相差数十个百分点。Carlsmith的正式分解得出的是一个宽泛范围而非单一点估计，反映了每个中间步骤的真实不确定性。这些估计的共同点是它们都非微不足道——所有认真对待该问题并给出数字的安全导向研究者，没有低于约5%的。
在下方每个关键点上设定自己的观点，观察它们如何汇聚成一个整体估计。
为何存在广泛范围
P(doom)作为一个数字，是若干不确定中间问题相乘的结果。AI能力将以多快速度推进？在超出我们已测试的能力水平上，对齐问题有多困难？给定能力水平的失调AI引发灾难性而非可控伤害的概率有多大？治理能在关键能力阈值到来前有效应对的概率有多大？?
不同研究者对这些问题持有不同的概率分布，而这些估计会相互叠加。一位认为对齐问题可解、能力进展相对缓慢且治理能及时跟上的研究者，其整体估计值会远低于在每个问题上持相反看法的研究者。如此宽泛的范围反映了每个因素的真实不确定性，而非通过更仔细审视同一证据就能解决的分歧。
期望值论证
对非零P(doom)概率的常见回应是：“即使10%也低到不足以重构社会。”这一回应依赖的期望值推理缺陷，在其他风险情境中是不会被接受的。
任何一年发生能杀死数百万人的重大疫情的年概率估计低于1%，但全球仍在疫情 preparedness 上投入大量资源和政策关注。在US，一生中死于车祸的概率约为1%，而道路安全监管被视为完全正常的事。认为10%（甚至5%）的文明灾难概率不值得认真采取预防性投入的论点，并非对其他领域风险处理方式的一致应用。
期望值等于概率乘以量级。对于不可逆且规模达文明级别的风险（从坏结果中无法恢复，且坏结果会关闭所有未来价值），即使概率远低于10%，预防的期望值仍然非常大。1%的概率失去一切，其期望成本是全部的1%，而在长期未来所包含的尺度上，这是一个巨大的数字，而不是1%的问题。
什么会降低P(doom)
表达高P(doom)估计的研究者，是在诊断最关键的工作应发生在哪里，而非听天由命。大多数研究者估计中能降低P(doom)的因素已广为人知：已展示的进展包括 可解释性工具 能够验证前沿系统对齐；可扩展监督方法在超越人类专家的能力水平上依然有效；具有真正执行力的约束性国际治理框架；以及能力发展速度慢于对齐研究，以便在危险能力水平达到前确立安全。
这正是基金会将治理框架与对齐研究作为主要杠杆的原因，而非否定风险或将某个特定P(doom)估计视为权威答案。P(doom)的不确定性不是等待更多信息的理由，坏结果在特定能力阈值到来，而非在一个允许无限推迟预防的时间线上。