20世纪70年代初，生物学家学会将一个生物体的基因拼接到另一个生物体上。重组DNA同时开启了医学和生物学，也吓到了发明它的人。他们无法排除改造后的生物体可能逃出实验室并造成无人知道如何遏制的伤害。于是他们做了几乎闻所未闻的事：他们停了下来。

1974 年，包括未来诺贝尔奖得主在内的领先研究人员公开呼吁对最危险的重组 DNA 实验实施自愿暂停。1975 年 2 月，约 140 名科学家以及律师和记者在加州阿西洛马会议中心开会，决定工作可安全恢复的条件。他们提出了一套与风险相匹配的遏制措施框架，研究在商定保障措施下重新启动。对于主张暂停前沿 AI 的人来说，这是参考点：一个认识到自身危险并选择谨慎而非速度的领域。

阿西洛马真正做对的地方

这一成就真实存在，值得明确陈述。

科学家们在灾难发生前而非之后采取行动，这在整个技术安全史上极为罕见且宝贵。他们接受对自己工作的限制，包括那些本可带来名声与进步的研究，因为风险值得这样做。他们制定了与危害程度相匹配的实用规则，既没有忽视危险，也没有彻底禁止该领域。这证明一个研究共同体可以审视自身前沿，判定其过于危险而不能仓促推进，并选择克制。这一先例直接反驳了“暂停强大技术是幼稚或不可能”的说法，因此它与军控案例一同出现在我们“为何需要行动”的页面上。 可能的.

为什么它比看起来更难建模

诚实地对待先例意味着指出为什么AI是更棘手的情况，因为差异正是使阿西洛马成功的那部分。

  • 它曾是一个小而统一的社区。 几十个实验室，一种科学文化，彼此相识的人。前沿 AI 已成为公司与国家间价值数万亿美元的全球竞赛，没有共同的谈判桌。
  • 1975年时的商业利益还很有限。 当时生物技术产业几乎不存在。而 AI 到来时，全球最大公司和国家安全机构已深度参与，这正是 竞赛动态 Asilomar从未面对过。
  • 重启是目标。 Asilomar旨在找到继续的安全条款，而非无限期停止。其遏制模型假设可以将危险装在物理实验室中。具备能力的AI显然无法以这种方式遏制。

还有一个令人警醒的尾声。Asilomar 共识得以维持，部分因为那是激励一致的短暂时刻，即便如此也依赖自愿善意，而更商业化、更具竞争性的领域会使其紧张。在140位志同道合科学家中奏效的东西，并不能直接扩展到在激烈胜出压力下的分裂全球产业。

Asilomar 证明暂停是可能的。它也显示了暂停所需的条件，以及当前 AI 具备其中多少。

基金会得出的教训

阿西洛马会议的两部分都重要。它驳斥了“什么都做不了、强大技术无法放缓”的宿命论。科学家们有意为之，而天并没有塌。但它也表明，1975年奏效的那种非正式、自愿、同行机制对人工智能而言不够，因为人工智能缺乏让善意足以奏效的小型社群、低风险和可控危害。正确的结论是，人工智能需要阿西洛马会议所能实现的东西——在危险发生前通过有约束力、可核查的国际机制实现真正克制，而非仅仅需要一场属于自己的阿西洛马会议。参见 我们的计划.