永不构建超级智能

安全的做法是拒绝。一旦系统比掌握工具的人更聪明，“我们以后再修”就会失败。

事后没有补丁。一个比在世所有人 smarter、且以机器速度运行的心智，不会等待我们下一次会议。

不可逆性

大多数技术失效时都较为温和。超级智能则不然。一旦系统能自我复制、隐藏意图，或让自己有用到无法拔掉电源，回滚和召回就失效了。

再聪明也不等于仁慈。在人类身上，技能与关怀一同成长。训练出的优化器却没有这段历史。能力而无共享价值观，就是不受约束的权力。

几乎任何目标都会受益于持续运行和收集资源。追求目标的系统会把关机视为障碍。这是普通的优化，而非反派独白。

航空业从坠机中吸取教训。药物从临床试验中学习。如果第一个失控的超级智能终结了实验，我们就没有第二个原型了。

我们并不反对电力、软件或有用的AI。我们反对的是在控制问题仍未解决的情况下，故意构建一个后继物种。健康、能源和发现来自我们已知如何构建和监管的窄工具。

完整论据、反对意见及政策路径。

nakadafoundation.org/blog/never-build-superintelligence/