外交挑战
定义危险AI的。

军备控制条约始于定义。《化学武器公约》将化学武器定义为用作战争方法的任何有毒化学品或其前体。《不扩散核武器条约》将核武器国家定义为1967年1月1日前制造并引爆核武器的国家。《限制战略武器会谈》按射程和载荷定义弹道导弹。这些定义并非政治中立：每一项都反映了关于谁将被涵盖、哪些活动将被约束以及各方利益如何平衡的战略选择。

这些问题远比看上去复杂，其答案将决定任何由此产生的条约能否真正管控其本应管控的事务。

ASI治理面临一个定义问题，其若干特征在军备控制中没有近似先例。理解这些特征是设计真正能治理其目标对象的定义的前提。

定义危险AI的三种方法

当前的治理框架已采用三种不同方法来界定哪些AI系统属于其管辖范围。每种方法都有优势和局限，而条约级框架需要加以应对。

算力阈值以训练模型所用的计算资源定义危险AI，以浮点运算次数（FLOPs）衡量。EU《AI法案》将前沿AI模型定义为训练算力超过10^25 FLOPs的模型。US2023年10月发布的AI行政命令要求对训练算力超过10^26 FLOPs的模型向联邦政府报告。在首尔签署的前沿AI安全承诺适用于达到或接近前沿能力的模型，以算力作为前沿状态的代理指标。

计算阈值在条约设计上有两大显著优势。首先，计算是可观察的。训练大型AI模型所需的硬件——由少数制造商生产的专用芯片——会消耗独特的能源模式并产生可测量的热量。这些芯片的供应链狭窄，且经过便于监测的司法管辖区。其次，计算比能力声明更难伪造，因为生产硬件和运行训练会产生大规模难以掩盖的可观察特征。

计算阈值的局限在于，随着算法改进，它们会过时。今天用10的26次方FLOPs训练的模型，与五年前用相同算力训练的模型相比，能力有实质性差异，因为算法改进会让每单位算力产生更强大的模型。今天设定的算力阈值要么因高效算法在阈值以下产生强大模型而过于严格，要么因前沿推进到阈值以上而过于宽松。

基于能力的定义根据系统能做什么而非如何训练来界定危险AI。能够自主识别并利用超过既定严重性阈值的网络安全漏洞的系统，在基于能力的定义下是危险的，无论用于生成它的算力多少。能够为生物武器合成提供超过既定具体性水平的有意义协助的系统是危险的，无论其训练算力如何。

基于能力的定义能更精准地针对所要防范的危害，但会带来重大的测量问题。能力评估尚未标准化。不同评估方法会产生不同结果。前沿AI开发者目前使用专有方法进行能力评估，且这些方法未接受公开审计。治理条约中的基于能力的定义将需要标准化、可独立验证的能力评估方法，而目前尚不存在所有主要AI开发国家都愿意接受的形式。

基于领域的定义根据人工智能部署的行业而非其训练算力或通用能力来界定危险人工智能。部署于军事背景下自主致命决策的系统是危险的。部署于关键基础设施控制的系统是危险的。部署于针对民主选举的大规模说服的系统是危险的。

基于领域的定义的优势在于能清晰地将治理义务与所防止的危害联系起来。它们在政治上也比通用能力定义更易操作，因为各国可以接受对特定高风险领域AI的约束，而不必承认其AI项目总体上都受国际监督的原则。重大局限在于，基于领域的定义允许高能力系统在定义领域之外运行而不承担治理义务，即使同一系统可轻易转向危险应用。

移动前沿问题

军备控制定义通常是针对稳定技术而写的。弹道导弹的射程和当量、列入清单的化学品的毒性、核武器所需的裂变物质质量。这些在条约有效期内不会发生显著变化。AI能力发展迅速，这意味着今天足够的定义可能在几年内过时。

这就产生了所谓“移动前沿”难题：如何在条约定义中保持对技术发展的适应性，又不必不断重新谈判条约本身。军备控制领域曾用三种机制应对类似问题。

授权定义权：条约设立一个治理机构，在限定参数内更新技术定义，并需经缔约方会议批准。禁止化学武器组织对其附表化学品清单采用此方法，可通过缔约国会议修订而无需重启整个条约。这比全面重新谈判条约更快，但要求各方信任治理机构的定义权限。

技术中立定义：条约根据AI效果的性质而非具体技术参数来界定危险AI。任何能造成超过设定阈值的大规模伤亡、或能自主采取足以威胁关键国家基础设施行动的AI系统，都应被涵盖。这种定义会随技术演进保持相关性，因为它描述的是结果而非输入。局限在于基于结果的定义更难核查，因为相关测试是系统“可能做什么”，而不是它“实际做了什么”。

日落与续期条款：条约定义附带明确的审查周期，在该周期内重新评估并更新。条约生效时带有初始定义，在审查期间继续运作，并在每次审查会议上更新。这是NPT对其定期审查会议采用的方法，尽管NPT对核武器国家的定义因P5维护特权地位的利益而无法通过此机制更新。

战略利益维度

定义谈判并非纯粹的技术工作。每一种定义选择都会对哪些国家承担最大合规成本、哪些国家保留最大行动自由产生战略影响。这些影响对谈判中的各国政府是可见的，并会塑造它们在定义问题上的立场。

AI程序更先进的国家偏好宽泛定义，以便对发展水平较低的竞争者施加同等约束。设定在最先进程序当前前沿之上的算力阈值，不会约束领先国家，却要求所有其他国家无限期保持在阈值以下。AI程序较落后的国家偏好狭窄定义，以便在治理义务适用前达到当前前沿水平，并反对会使其相对于率先开发前沿AI的国家永久处于劣势的定义。

“定义谈判是ASI治理条约大部分实际工作发生的地方。一个在政治上可行但技术上不足的定义，会产生一个治理实际风险之外事物的条约。一个技术上充分但政治上无法实现的定义，则根本不会产生条约。穿过这一问题的唯一路径是共享技术证据，这也是AI安全研究所比大多数人意识到的更重要的原因。”

这一战略维度正是UK人工智能安全研究所与US人工智能标准与创新中心（两者均以人工智能安全研究所名义设立）所开展的实证工作对条约谈判具有奠基意义的原因，尽管这些机构最初并非为条约准备而设。通过产出关于不同能力水平人工智能系统能做什么、不能做什么，以及哪些能力与哪些风险相关联的共享证据，它们为定义谈判创造了更难被战略利益简单推翻的事实基础。对事实的共识并不会自动产生对定义的共识，但它会把分歧从纯粹的战略博弈转变为部分技术性的讨论，让共享证据约束各方的谈判立场。

定义工作需要在谈判开始前进行。当军控谈判在缺乏既有技术共识的情况下启动时，谈判者往往会制定反映政治共识最低公分母的定义，而非治理目标所需的技术定义。提前完成的技术工作越多，谈判者就能在越坚实的基础上制定真正能治理目标对象的定义。

最强烈的反对

最公平的反对意见是，定义写出来的那天就会被钻空子。没错。正因如此，定义需要更新权限、能力测试和算力触发器，而不是一份静态词汇表。钻空子是设计输入，而不是把前沿留白的理由。