预防,而非暂停

临时减速只是把重启按钮交回同一场竞赛。我们需要永久禁止。超级智能无法被控制。

问错了

暂停

让实验室的发展放缓几年。希望安全能按计划跟上。然后恢复。超级智能仍是目的地。唯一改变的是时间。

我们的要求

预防

禁止超过通用能力阈值的系统。不设重启时间表。只要无人能控制比创造者更聪明的智能体,禁令就持续有效。

1

不存在经过验证的控制方法

小规模不行,大规模也不行。领先实验室公开承认这一点。指望对齐问题会按时完成的暂停,只是一场毫无依据的赌博。

2

窄人工智能持续推进

药物、天气模型、工业优化器、编程工具。没有开放式议程的系统仍属合法并获得资助。界限落在自主通用心智上,而非AI整体。

3

条约已经以这种方式运作

《核不扩散条约》不会让核弹暂停五年。它限制的是谁可以制造核弹,并配以核查。化学武器和破坏臭氧层的化学品也得到了同样的对待。超级智能需要这种形式的法律。

一句话的请求

各国政府应通过可核查的国际条约禁止人工超级智能。超级智能无法被人类控制,因此这一禁令是永久性的。

nakadafoundation.org/our-plan/