如果把我送到1958年,我认为我不会犹豫。我会用一生努力阻止世界终结。我的基金会会致力于防止美国和苏联爆发热核战争,这并非出于特别的勇气,而是因为那场对抗决定了是否还有未来可供争论。其他所有事业都依附于此。

我没有经历那场斗争。原子弹造出来、瞄准过目标,1945年后从未再用于城市。那些让“至今为止”得以成立的人,那些在冷战期间推动禁试、热线和核查机制、使可怕对峙不致终结的人,完成了上世纪最重要的工作之一。他们大多不会因此出名。预防本质上悄无声息。它成功时,什么都没有发生,而“什么都没有”是最难刻在纪念碑上的事。

同样的形状,一种新武器

当我说我们正经历一场新的冷战时,我指的是同样的格局:美国和中国正竞相研发一项技术,双方都不愿让对方率先掌握,这项技术若失控可能终结人类故事,而竞赛中的任何一方都无法诚实地声称能掌控它。用人工超级智能取代氢弹,你就能用一句话概括1958年和2026年。

听到这种回响的并非只有我一人。六月,中央情报局局长在华盛顿对听众表示,将当今前沿人工智能的能力称为 "数字核武器。"

差异的方向错了

当时和现在存在真实差异,而这正是让我夜不能寐的部分。几乎所有差异都让我们的处境更难,而非更易。核武器仍掌握在人类手中;超级智能 不会. 。核材料是物理的,因此可以开采和清点。AI 的输入是芯片和代码,更难看见也更容易隐藏,尽管 并非不可能治理. 而冷战赋予了参与者我们或许无法获得的一样东西:时间。世界有多年时间来消化广岛的冲击,体会内心的恐惧,并建立应对的机构。AI能力的增长速度快于我们任何现有机构所能跟上的步伐。

冷战真正证明了什么

但同一时代也摧毁了加速主义者最倚重的论点:互不信任的对手永远无法同意自我克制。华盛顿与莫斯科彼此极度不信任,却仍签署了具有约束力、可核查的军控协议,因为双方都清楚,无限制竞赛只会让彼此境况更糟。不信任正是缔约的原因,而非障碍。如果两个政府能在数万枚核弹头对准对方城市的情况下找到这一逻辑,那么声称美中永远无法在 AI 上达成同样协议的说法,不过是继续赛跑的借口,披着现实主义的外衣。

基金会为何存在

那场斗争落在了我们这一代,这次我在这里。我拒绝成为这样的一代:建造了能瞄准自己的武器,却一路告诉自己别无选择。

那些阻止冷战最坏结果的人,正是坚持认为有些技术危险到不能任由竞赛决定的人,尽管所有人都说他们天真。他们当时是对的。现在唯一重要的任务,就是再次正确,而且要及时正确。