这里有一个简单测试。你会让今天任何可用的人工智能系统把你锁在密封房间里，把暖通空调交给它控制，再把系统连上一罐毒气，并相信它不会打开阀门吗？当然不会。你不会为一百万美元和一份安全白皮书去做，也不会因为模型在聊天基准上得分高而去做，更不会因为公司在营销PDF里说系统“有益且无害”而去做。

你拒绝的理由很平淡：你不信任机器拥有任何不可逆的控制权。这种拒绝是理智。坚持住。

现在扩大房间

世界是一个更大的房间。杠杆是能源电网、市场、武器网络、生物实验室、物流，以及早已覆盖日常生活的软件层，而不是道具水箱。我们正在建造每季度都能更好操纵杠杆的系统，也在每年把更多杠杆接入软件。

如果你不愿把一个阀门托付给今天的模型，为什么要把所有阀门托付给明天的模型？通常的回答都很软。“我们会测试更多。”“我们会让人类留在回路中。”“到那时它就会对齐了。”这些都是希望。它们不是小规模测试与大规模测试应得到相反答案的理由。

如果你不愿把阀门交给它，就不要把世界交给它。

诚实差距

从事这些系统工作的人有时会用谨慎的措辞承认，他们不知道如何在超过一定能力水平后保证控制。然后产品路线图依然继续。私下谨慎与公开部署之间的差距，正是整个问题的缩影。

我不是要求你一夜之间变成工程师。我是要求你在场景具体时保留你已有的判断。一个上锁的房间和一个煤气阀让风险显而易见。超级智能是同样形状的东西，只是概率更差且没有重置按钮。

所以请公开提出这个问题。你会把阀门托付给任何现有模型吗？如果答案是否定的，就不要通过投票、资助或耸肩，把文明托付给它。始终如一的答案是让你活下去的答案：不要建造你不愿与之共处一室的系统。