预防原则源于环境法，现已嵌入国际文书。其最著名的表述是1992年《里约宣言》原则15：当存在严重或不可逆转损害的威胁时，不得以缺乏充分科学确定性为由推迟采取具有成本效益的预防措施。该原则的变体出现在欧盟法律以及气候、生物多样性和危险物质条约中。该原则正是为“等待证据就意味着等待太久”的情况而存在。

预防原则认为，当某项活动可能造成严重或不可逆伤害时，即使缺乏充分的科学确定性，也不得以此为由推迟保护措施。这条规则是我们在AI风险造成灾难前采取行动的最强法律依据。

为什么它如此适合AI

人工智能风险论证有一个尴尬之处：最严重的场景尚未发生，也无法在事先演示——除非真的运行实验。批评者以此否定担忧：没有证据，就没有问题。预防原则正是直接回应。它针对的就是那些严重且可能不可逆转、但尚未确定的威胁，并反转了举证责任：问题不在于灾难是否已被证明，而在于鉴于利害关系，这种可能性是否严重到值得采取保护措施。

前沿AI的两个特征使其几乎成为该原则的教科书案例。潜在危害处于严重程度量表的最高端，可能是灾难性且不可逆的。而科学上存在真正的不确定性，可信专家对失控情景赋予了有意义的概率，且没有可靠方法排除它们。严重、不可逆、不确定：这正是预防原则所针对的情况。

实践中预防需要什么

  • 转移举证责任。 最强能力系统的开发者应在部署前承担证明安全的责任，而非由社会在事后证明危险，药品与核电站已采用这一模式。
  • 在确定前采取行动。 治理不应等到灾难发生后再证明有必要实施约束，因为对于不可逆风险而言，演示本身就是灾难。
  • 与风险成比例。 预防规模应与潜在危害规模相匹配；最高严重性风险需要最强措施。
  • 将可逆性作为优先事项。 在可能的情况下，保持选项开放，避免采取会断绝未来纠正机会的步骤，这一原则与可能自我固化的技术直接相关。

反对

预防原则有真正的批评者，诚实的倡导会与他们对话。最有力的反对意见是，预防若走向极端可能导致瘫痪：几乎任何活动都存在某种可想象的灾难性风险，而一个说“反对所有未经证实的严重威胁”的原则，可能以推测性理由阻挡有益创新。批评者还指出，预防有其自身成本（放弃的好处，包括 AI 本身可能避免其他灾难），这些成本也应纳入考量。

这些观点并没有否定该原则；它们规范了其使用。答案是，预防原则是针对既严重又有可信证据支持的威胁采取的相称行动，在行动成本与不行动成本之间权衡，而不是“禁止一切可能出错的事”。前沿人工智能符合条件，不是因为有人能想象出坏结果，而是因为可信专家对灾难性、不可逆转的失控赋予了真实概率。该原则要求采取与这一具体、有充分证据支持的风险相称的措施，而不是全面停止技术。

对于不可逆转的风险，“等待证据”不是谨慎，反而是相反。预防原则的存在，正是为了让我们不必先遭受灾难，才能获得阻止它的权利。

现在行动的基础

预防原则对ASI治理很重要，因为它消解了最常见的拖延理由，即我们不应在风险得到证明前进行监管。在法律和伦理中，这一理由对AI所代表的威胁类别恰恰失败。严重、不可逆且不确定的危害是先于确定性采取行动的范式案例，举证责任在于制造风险的一方证明风险已得到控制。这并未解决措施应是什么；那是条约设计、核查和阈值的工作。但它解决了在不确定性下是否合法采取行动的先决问题。是的，该原则解释了原因。