治理超级智能::
致政策制定者的简报

国际AI安全治理的理由:问题所在、所需措施,以及证明其可行的先例。

一种前所未有的、缺乏治理框架的技术

人工超级智能(在每个领域都超越人类智能的系统)正由监管极少的私营公司积极开发。领先人工智能实验室已在内部表示,预计将在本十年内达到这一门槛。

与以往技术风险不同,超级智能尚无任何现有国际治理架构。没有条约、没有核查机构、没有多边安全标准,也没有在出现警告信号时叫停开发的机制。治理空白是彻底的。

有效治理的窗口正在关闭

国际治理框架需要数年谈判才能建立。《核不扩散条约》在首次核试验后历经十年外交;《蒙特利尔议定书》则在实现多边采纳前需要持续的科学共识构建。

AI能力开发正在加速。曾经需要数年才能取得的改进,现在只需数月。一旦出现足够强大的系统,可能就太晚了,无法施加有意义的约束。治理必须先于能力,而非跟随其后。

先例:我们以前做过这种事

核电公司(1968年) 限制核武器扩散的国际条约。191个缔约国。包括检查和核查机制。
《蒙特利尔议定书》(1987年) 全球逐步淘汰了99%的臭氧消耗物质。被UN称为“史上最成功的环境条约”。
《生物武器公约》(1972年) 生物武器的发展与储备已被禁止。183个缔约国。已形成反对生物武器的国际规范。
《外层空间条约》(1967年) 禁止在太空和天体上部署核武器。由US与USSR在冷战高峰期谈判达成。

推荐的政策行动

  • 强制部署前安全评估 由独立政府机构在任何前沿AI系统发布前进行,相当于药品的临床试验。
  • 算力监控与许可 用于定义能力阈值之上的训练运行。算力是能力的可衡量代理;它可以被追踪和监管。
  • 国际AI安全机构 拥有检查权,仿照IAEA,以核查各司法管辖区对商定安全标准的遵守情况。
  • 事件报告要求 对于在训练或部署期间观察到的危险行为,目前是自愿的且各实验室不一致。
  • 国内AI安全立法 为未充分测试的AI系统造成的可预见危害确立法律责任,从而为谨慎行事创造适当的市场激励。
  • 多边谈判 在能力阈值达到前而非之后确立国际标准。现在就开始,窗口仍在开启。

这是科学共识,而非边缘立场

超过500名AI科学家,包括诺贝尔奖得主杰弗里·辛顿和约书亚·本吉奥,以及OpenAI和DeepMind的CEO,签署了2023年声明,将灭绝级AI风险称为“与流行病和核战争同等的全球优先事项”。

UK政府于2023年成立了全球首个AI安全研究所(现为AI安全研究所)。EU《人工智能法案》引入了AI系统的强制风险分类。US人工智能行政命令要求对前沿模型进行安全评估。国际框架尚不存在,但政治意愿正在形成。现在正是行动的时刻。

nakadafoundation.org

Nakada Foundation to Save Humanity倡导国际人工智能安全治理。我们提供政策专业知识、公众教育和倡导支持。欢迎联系我们,为你的办公室或团队安排简报。