核武器是包裹在材料问题上的设计。你需要裂变材料,通常是高浓缩铀或反应堆途径得到的钚,数量和纯度都不会从天上掉下来。浓缩厂规模巨大、耗电惊人,里面装满了情报机构七十年来学会辨识的设备。这种难度并非防扩散故事的全部,却是物理学免费提供的部分。
现在来做口号跳过的思维实验。假设制造炸弹所需的精确原子排列很容易实现。假设原料廉价、军民两用、成批出售。假设成品设计可以像文件一样复制。人类这个物种还能存活多少年??
不多。条约仍会重要。规范和恐惧也一样。它们将被要求完成目前由材料难度完成的所有工作,且规模是任何执法系统从未管理过的。二十世纪核武器取得的有限成功,若没有供应链中的摩擦就无法理解。我们很幸运,铀很挑剔。
硬度给我们带来了什么
九个国家已知拥有核武器。这个数字既是丑闻,也是一种仁慈。数百个国家拥有理解物理学的科学人才。完成制裁、审查和成本下的工业马拉松的国家则少得多。《不扩散核武器条约》、出口管制机制以及IAEA保障体系都依赖一个简单事实:瓶颈明显到足以被监视。
移除瓶颈后,你得到的不是稍难一点的外交问题,而是一个边缘行为体——一个弱小国家、一个资金充足的团体或一支分裂部队——能挟持城市的世界。在少数清醒大国间勉强奏效的威慑逻辑,在数十个时间视野更短的参与者间将失效。核弹已够可怕,易制核弹则是另一类问题。
我们不是靠更好的演讲在易获取的核材料中幸存,而是靠额外的检查在难获取的核材料中幸存。超级智能正向易获取的方向漂移。
AI正朝哪个方向发展??
前沿训练仍然需要大量资金、大量芯片和大量工程。一个足以推动前沿的集群是建筑物中一个有电费账单的物理对象。
趋势线并非铀的趋势线。模型每美元能变得更强,技术不断改进,权重一旦训练完成即可近零成本复制,开放发布和泄露让能力横向扩散,人才遍布全球。这一切都不会让超级智能明天早上免费获得,但都指向核不扩散之所以可行却无法复制的原因:顽固的材料门槛。
诚实比较两种堆栈。要获得第二套核武库,仍需工厂、原料和望远镜下的时间。要获得训练模型的第二份副本,只需一块硬盘。如果危险对象是智能体而非弹头,复制有利于软件模式,而非同位素模式。我们承认隐喻的局限 在其他地方认真讨论.
错误的教训与正确的教训
错误的教训是宿命论:输入越来越容易,所以治理无望。这与实验室那句“只有更多能力才能拯救我们”的口号互为镜像。两者都跳过了我们仍处于其中的阶段——前沿训练仍可见,严肃参与者数量仍很少。
正确的教训是,对我们必须发明的困难保持紧迫感。如果物理学无法把关口收窄,法律和行业标准就必须。先进芯片的了解你的客户规则、训练运行的报告门槛、审计权、让大规模隐蔽训练更难隐藏的硬件特性,以及一项声明超级智能不是允许产品的条约。超级智能无法被控制。 NPT 和 模型条约草图 是试图在容易的路径完全打开之前将那种硬度写在纸上。
结束思想实验
想象一下,在1960年向总统汇报一个经过验证的设计,以及炸弹材料像化肥一样出售的世界。房间里的每一种本能都会尖叫着要求从源头控制。没人会把这种本能称为反科学。没人会说答案是发明一颗更聪明的炸弹来监管第一颗。
我们正在构建一种能力,其天然材料门槛比核弹更低,却告诉自己速度就是安全。这个思想实验并不微妙。如果危险事物容易制造,世界不会获得重来的机会。有意让它变得困难,在困难仍有可能的时候;否则,你就会体会到没有幸存者化石记录可供论证的容易是什么感觉。