“如果我们停止建造超级智能,别人也会继续。”这句话在一百个房间里都能终结对话。它听起来像地理与博弈论的必然。往往却不是。往往只是继续建造的借口,同时把建造说成不可避免。用我们已经处理过的技术试试同样的逻辑:“如果我们停止生产含CFC的冰箱,别人也会继续生产冰箱。”

是的。他们继续生产冰箱。他们停止使用正在撕裂天空的化学物质。

两个不同的名词

冰箱提供一种服务:冷藏食物、保存疫苗、减少损耗。氯氟烃曾是实现这一服务的一种方式,但一旦其对臭氧层的破坏被证实,就成了灾难。 蒙特利尔议定书 并未禁止寒冷。它只是逐步淘汰造成破坏的物质,为较贫穷国家资助替代品,并以贸易压力作为后盾。行业曾表示淘汰不可能实现。冰箱留下了,CFCs却消失了。

超级智能的修辞把两个名词合并成一个。“AI”成了一个单一的团块,包含癌症模型、路线规划器,以及一个假设比人类物种更聪明的智能体。如果你拒绝最后一项,口号就会说,你也拒绝了前几项,而某个不那么谨慎的人会把所有东西都发出来。这一招是假装毒药与产品完全相同,从而让移除毒药听起来像一场对产品的战争。

我们拯救臭氧层不是先承诺制造空洞。我们保留了冰箱并淘汰了该化学品。

"someone else will"这句话的用意

竞争对手的实验室,或者竞争对手的状态, 可能试图通过你画的线来训练。 这种可能性确实足以计划。 这也是发明军备控制来处理的可能性。 “其他人可能会制造核武器”的答案不是“那么我们必须进行无限试验”。 这是核查、对裂变材料的阻塞和突破的后果。

计算比铀更棘手,没有认真的人会假装不是这样。它依然是物理实体,在前沿成本高昂,且需经由少数芯片制造商、晶圆厂和云区域传递。这提供了足够结构来建立检查机制,这就是为什么 算力治理 出现在每一份严肃的条约草案中。“其他人会做”跳过了这项工作,直接走向许可。

注意谁从跳过中获益。如果克制被框定为单方面投降,那么唯一成人的姿态就是全速前进。投资者听到的是命运。安全人员听到的是放缓脚步是幼稚的。这个口号无需赢得关于机制的辩论。它只需让第三条选项——共同克制——显得幼稚即可。

冰箱从来不是敌人

我们想要的是能诊断疾病、设计药物、发现桥梁隐患的窄AI。请把这一点说清楚,别让抹黑站住脚。基金会的立场是拒绝建造 超越并取代人类控制的系统 而控制问题尚未解决。

那更接近于“使用其他制冷剂”,而非“禁止冷藏”。混淆这一区别的人,正借用有用AI的受欢迎度,作为掩护那种不会停留在工具阶段的能力。

臭氧之战实际教给我们的

蒙特利尔之所以成功,是因为科学界发声响亮、替代品存在,且顽固者面临贸易成本。超级智能在“战略主导”的替代品上更难,但在口号忽略的一点上更易:没有哪个大国对一个不受任何人控制的系统有连贯利益。共同脆弱是达成协议的原材料。我们在 中国神话 页面以及在 种族神话 essay.简短来说,一旦空洞的终点可见,对手恐惧资助条约和资助冲刺一样容易。

问清楚他们说的是哪个名词。有用的AI不在禁止之列,不可控的超级智能才是。对于第二个名词,背叛风险是建立执法的理由,而不是先发背叛的理由。冰箱继续运转,天空得以修复,因为人们能区分两者。