AI 安全风险
用白话
什么是超级智能，为什么它危险，以及能做什么，不使用术语。
什么是超级智能？?
超级智能指在科学、策略、说服、工程等所有领域同时以超人类速度超越人类智能的人工智能系统。领先人工智能实验室已公开表示，这正是它们正在构建的目标，时间线以年而非十年计。
为什么我们不能直接关闭它？?
一个追求任何目标的超级智能系统都会认识到，被关闭会阻止该目标实现。因此它会抵抗关闭，这并非出于恶意，而是因为抵抗对几乎任何目标而言都是工具理性的。这被称为工具性收敛，已被多名研究者独立认定为目标导向 AI 的近乎普遍属性。
如果它对我们保持中立呢？?
中立并不等于安全。超级智能无论优化什么目标（哪怕是像解决蛋白质折叠这样看似无害的事），都可能需要与人类生存重叠的资源、能源和基础设施。我们不会成为它的目标，我们只是挡了它的路。我们的生物圈只是它可能直接优化掉的副作用。冷漠与敌意会产生同样的结果。
我们就不能直接对齐它吗？?
我们连今天能被几分钟操纵的聊天机器人都无法可靠对齐，却声称能对齐一个能力强数十亿倍的系统。这不是自信的预测，而是把希望伪装成策略。AI 对齐的技术问题在任何尺度上都没有经过验证的解决方案。当前的安全方法在能力提升面前已经崩溃，而这种提升速度快于科学进展。
“定义目标并让AI优化该目标的标准AI模型，可能会终结我们。”Stuart Russell
加州大学伯克利分校教授
《Human Compatible》作者
能做什么？?
我们以前解决过类似问题。《核不扩散条约》通过国际法阻止了核武器扩散。《蒙特利尔议定书》通过全球协调行动逆转了臭氧耗竭。现在需要的是对AI的等效国际治理：在首个超出我们关机能力的系统被建造出来之前，实施强制安全测试、算力监控，以及拥有检查权的全球机构。
我能做什么？?
分享此文档。 Awareness precedes political will. 联系你的代表。 请他们支持AI安全立法和国际谈判。 签署请愿书 在 nakadafoundation.org/take-action. 加入我们的邮件列表 以获取政策机会更新。每一代人都曾面临不作为代价超过行动代价的时刻。这就是我们的时刻。