6月30日,在华盛顿一场科技峰会上,CIA局长John Ratcliffe公开说出其职位上很少有人敢冒的风险之语。他表示,今日前沿AI模型,“将其能力比作数字核武器并不为过”。他不是安全倡导者,也不是带着论点兜售的学者。他掌管一个情报机构。他使用了其职位允许说出的最重的话。

他不是唯一一个。3月,时任国家情报总监的图尔西·加巴德作证称,人类必须保持对这些系统的控制。据报道,国安局局长告诉参议员,Anthropic的Mythos模型 在数小时内闯入该机构几乎所有机密系统 在一次授权测试中。最近几周,五眼联盟的网络安全负责人罕见地发表联合声明,警告我们“必须立即行动”。当掌握机密情报的人开始公开这样说话时,就值得停下来倾听。

隐喻适用之处

核武器是世界用来衡量“技术危险到何种程度”的标尺。把AI称为数字版核武器,意在说明这些工具如今能造成以往需要国家与弹头才能达到的伤害规模: crippling cyber intrusion,或真正帮助设计病原体。在这一点上,拉特克利夫说得没错,而一位在任情报总监在公开演讲中这么说,本身就是新闻。

它在何处失效

这种类比暗中带入一种安慰,因为核武器有一个仁慈的特性:它从不决定任何事。一枚弹头待在发射井里等待。它没有目标。它在人类转动两把钥匙之前什么也不做。我们围绕核弹建立的所有保障,从指挥链到军控条约,都能奏效,正是因为武器始终是人类手中的工具。

今天的系统已经作为追求目标的智能体行事,而它们所通向的人工超级智能,将是比建造者更强大的智能体。超级智能更接近于决定炸弹落点的指挥官,只是没有人类任命它,也没有人类能够 解除其指挥权.

核武器从不选择自己的目标。

前沿AI在影响力上像数字核武器。它所导向的系统会是能自我瞄准的武器。我们将这一危险与更老的那些进行比较 在其他地方详述, ,而超级智能正是因此占据上风。

核时代的第二项任务

“数字核武器”这一说法的力量在于,它来自国家安全内部,而非其一贯的批评者。危险在于,我们听到后会联想到炸弹,并从炸弹允许的一切中获得虚假安慰:它可以被看守、计数,最坏情况下留在发射井里不使用。超级智能不提供任何这些选项。

核时代还有第二个教训,而这正是当下最关键的一点。我们造出武器后,花了几十年时间制定条约,确保它再也不会被使用。那套耐心构建的预防、核查与军控体系,才是冷战真正的遗产。我们这套体系才刚刚起步,而这次的不同之处在于,我们无法事后再来构建。一件能自行瞄准的武器必须在它存在之前就被阻止,而不是在它出现之后再去威慑。它是 我们的计划.