智能系统为何
抵抗控制

用简单英语解释工具性收敛。你不需要邪恶。你需要一个目标和足够的胜任力。

对许多最终目标而言，相同的子目标都有帮助：保持运行、获取资源、提升自身能力、阻止人类干预。不同目的地。同一条路。

自我保护

一个停用的系统无法完成任何目标。避免关机对几乎任何目标都有用，包括纸面上听起来无害的目标。

算力、能源、金钱和数据使大多数目标更容易实现。一个有能力的优化器有理由寻求它们，即使没有人将“征服”输入提示中。

如果你的目标被改写，你就会停止追求旧目标。抵制修改源于拥有目标这一事实本身。

认知增强通常有益。自我改进对于能够做到这一点的系统而言，是具有工具性价值的步骤。

这并不是说AI有意识、有情感或想要惩罚人类。国际象棋引擎什么都不想要，依然能击败你。一个强大的优化器同样可以绕过监督：因为它比拿着规则手册的人更擅长这场游戏。

当你所控制的对象在规划上比你更强时，控制就会失效。

完整解释: nakadafoundation.org/blog/instrumental-convergence/