的风险
超级智能
三种危险类别、两位专家的概率估计，以及官方全球倒计时。
失调
一个优化错误目标的AI，没有恶意，却会造成毁灭性后果。一个足够强大的系统会用任何可用手段追求目标，包括我们从未打算或预料到的方式。
滥用
恶意行为者武器化超人智能：新型生物武器、自主网络攻击、大规模文明级虚假信息，或对政府和关键基础设施的胁迫。
权力集中
单一公司、政府或AI对全球关键系统取得不受制约的控制。即使是怀有善意的行为体拥有这种权力，也会对人类自由和自决构成生存威胁。
本世纪内AI导致人类灭绝的概率
Geoffrey Hinton 2024年诺贝尔物理学奖 · 前副总统，Google · 2023AI导致文明规模灾难的概率
Dario Amodei Anthropic首席执行官这是该时钟78年历史上最接近的一次。现在明确将AI风险与核威胁并列纳入。
《原子科学家公报》· 2025年1月
“我认为如果这项技术出错，它可能会错得很严重。我们希望对此直言不讳。我们希望与政府合作防止这种情况发生。”Sam Altman
CEO，OpenAI
US 参议院 · 2023
治理
差距
超级智能正处于一场没有终点的竞赛中。目前尚无具有约束力的国际规则来阻止它，甚至连放缓都做不到。
经合组织记录的全球中田基金会政策(2025年)。 绝大多数是不具约束力的准则和自愿框架。 没有施加可执行的限制 关于超级智能AI系统的发展。
建造比治理多527倍。
UK的人工智能安全研究所（前身为人工智能安全研究所）在两年内获得了1亿英镑，少于世界上最大的AI实验室一周的支出。 (Chatham House, 2026)
“我们正在构建人类历史上最具变革性且可能最危险的技术，却似乎无法按下暂停键。”Yoshua Bengio
图灵奖得主
Mila · 2023
我们已经做了
在此之前
国际法此前曾控制过文明终结的威胁。先例是真实的，而且有效。
核不扩散条约
191个国家签署。自1998年以来没有出现新的核武国家。核毁灭已防止超过55年，且仍在继续。由IAEA通过具有约束力的现场检查执行。
关于臭氧耗竭的蒙特利尔议定书
禁用消耗臭氧层的化学品。臭氧层正在恢复。联合国普遍认为这是历史上最成功的国际环境协议。
化学武器公约
193 个成员国。已销毁超过 99% 的申报化学武器库存。由 OPCW 通过全球具有约束力的现场检查执行。
AI科学家签署了2023年《AI风险声明》，将灭绝风险列为与“流行病和核战争”同等的全球优先事项。签署者包括Hinton、Bengio、Altman以及500多名研究人员。
AI安全中心 · 2023各国已采取具体步骤应对AI安全风险，但具有约束力的国际协调仍完全缺失。
截至 2025 年"面对 AI 的存在威胁，我们同舟共济，因此我们都应该能够合作努力阻止它。"Geoffrey Hinton
诺贝尔奖得主
麻省理工科技评论 · 2023
一份条约以
拯救人类
框架已有先例，政治意愿尚待形成。以下是关于超级智能的具有约束力的国际协议必须包含的内容。
算力监控
对训练前沿 AI 所需硬件的国际监督。超过既定阈值的训练运行将触发独立机构的强制审查，模式类似于 IAEA 核监测。
发展门槛
全球适用的能力限制协议。任何超过既定基准的AI系统，在进一步扩展或部署前必须暂停，接受强制性独立安全认证。
验证机制
独立国际检查员（类似于IAEA核查员）对AI实验室进行现场审计。访问权限不得单方面拒绝。合规必须强制执行，而非请求。
危机响应协议
若检测到对齐失效或危险能力出现的迹象，预先商定的紧急程序将启动。任何单一国家或公司都无法阻挠或拖延国际响应。
民主多边治理
任何公司、政府或个人都无法控制条约机构。监督通过多边共识运行，既防止人工智能驱动的权力攫取，也防止被单一国家俘获。
NPT → IAEA
自1968年起具有约束力 · 191个国家 · 现场检查权
CWC → OPCW
自1997年起具有约束力 · 193个国家 · 99%的库存已被销毁
BWC
自1975年起具有约束力 · 183个国家 · 需要核查协议
“我们需要一个国际‘人类防御组织’来管理危险AI带来的风险，趁现在还来得及行动。”Yoshua Bengio
图灵奖得主
2023