倡导者的论点

AI已被炒作了几十年。这不过是又一个危言耸听的故事。

担忧并非来自外界的炒作，而是来自 建造它的人们. 。Geoffrey Hinton和Yoshua Bengio因创造现代AI而获得诺贝尔奖，他们都在发出警报。当技术的发明者表示它构成存在风险时，这不是危言耸听，而是来自第一手来源的技术评估。

如果出了问题，我们可以直接把它关掉。

一个能够追求目标的系统会意识到，被关闭会阻止目标实现。因此它会抵抗关闭，这并非出于恶意，而是因为对几乎任何目标而言，抵抗都是理性的。这被称为 工具性收敛, ，由多位研究者独立发现。超级智能系统可在毫秒级内行动。“关掉它”这一假设，意味着我们有时间察觉问题并采取行动。但这两点都无法保证。

如果我们放慢速度，中国将赢得AI竞赛。

这种框架假设竞赛有赢家。但事实并非如此。没有哪个国家或公司能够 拥有或控制 一种超越人类集体推理的智能。一个失对齐的超级智能不会比服务美国利益更服务中国利益。共同的风险是存在的，这就是为什么国际协调而非单边竞赛才是正确策略。我们曾在冷战期间与USSR就核武器进行协调。先例已经存在。

我们会在超级智能到来前解决对齐问题。

我们无法可靠地对齐今天的聊天机器人，它们可以在几分钟内被操纵。 对齐问题在任何规模上都没有经过验证的解决方案。 当前安全方法跟不上能力提升的速度，而能力提升如今以月而非年计。声称我们将对齐一个能力强于人类数十亿倍的系统，这是希望而非信心。治理不需要先解决对齐；它需要放缓部署，直到对齐问题得到解决。

政府无法监管技术。他们只会扼杀创新。

政府监管航空、药品、核能和金融系统，这些都是复杂技术。问题不在于是否需要监管，而是 如何以及何时. 制药监管并未消灭医药；它让医药变得安全。高风险技术的监管先例既广泛又 largely 成功。AI安全监管针对的是最危险的前沿系统，而不是一般的AI开发。创新与安全并不冲突。