2024年9月5日，在立陶宛维尔纽斯，美国、英国、欧盟以及数十个其他国家的代表签署了《人工智能与人权、民主和法治框架公约》。这是有史以来第一份具有法律约束力的国际人工智能条约。它值得被清晰理解，无论是对它所取得的成就，还是对它从未被设计来解决的问题。
该条约实际涵盖的内容
《框架公约》是一项人权文书，其法律义务核心是确保 AI 系统不损害民主、人权或法治。在实践中，这意味着：:
- 透明度要求：当AI系统影响与人们相关的决策时，必须告知当事人
- 问责机制：国家必须确保人工智能开发者与部署者对其造成的危害承担责任
- 非歧视：AI系统不得产生违反现有平等法律的结果
- 有效补救：受AI伤害的人必须能够获得法律救济
- 民主保障：AI不得被用于破坏选举进程或法治
这些都是有意义的承诺。一套基于种族歧视的AI招聘算法、一套缺乏透明度部署的面部识别系统、一场AI生成的虚假信息运动，所有这些都直接被条约框架所涵盖。签署国已接受具有约束力的义务来防止它们。
执行机制是缔约方大会，负责审查实施情况并可提出建议。它比《化学武器公约》的核查制度或《不扩散核武器条约》的视察协议更宽松，但确立了AI受国际法约束的原则；该原则在2024年9月前尚未确立，其确立是真正的进步。
条约未涵盖的内容
《框架公约》规范AI在社会中的使用，但不规范可能构成文明风险的AI系统是否应被开发。
- 公共部门决策中的歧视性AI
- 不透明的 AI 系统影响个人权利
- 用于破坏民主进程的 AI
- AI造成伤害缺乏法律救济
- 刑事司法与福利系统中的AI
- 前沿AI系统的发展
- 计算治理与训练上限
- AI对齐与目标偏差追求
- 人工超级智能带来的存在风险
- 合规的独立核查
该条约的风险框架针对的是当前和近期的AI危害，即当今AI系统已经在造成的真实而严重的危害。这对于旨在保护受AI影响社会人权的文书来说是正确的范围。但对于旨在防止人工超级智能引发文明灾难的文书来说，却是错误的范围。
条约文本里从未出现“superintelligence”一词。它也没有对前沿AI开发竞赛施加任何义务。它对算力治理、训练规模、对齐问题，以及杰弗里·辛顿、约书亚·本吉奥等研究者过去十年反复警告的情景，都只字未提。
为什么这一区别很重要
将《框架公约》误认为充分治理的危险，是产生国际协议的政治进程的自然结果，而非假设：一旦条约存在，促成条约的政治压力就已得到满足。签署《框架公约》的国家可以将其作为AI正在被治理的证据。在宣布治理里程碑之后，关于最有能力的AI系统是否应受制于对其开发而非仅部署的约束性国际限制的更艰难对话，并不会变得更容易。
《框架公约》管辖的是现有的人权和平等法已经管辖的同一AI，它将这些原则延伸到AI语境并使其在国际上具有约束力。这有价值。它不是对以下风险的回应：一个足够有能力的AI系统，追求与人类福祉微妙错位的目标，可能造成规模大到任何法律救济都无法应对、且不可逆转的伤害。
"目标是让人工智能发展对人工智能和人类都有利。这需要将其视为文明问题，而非产品责任问题。"
一份前沿 AI 安全条约需要什么
旨在应对人工超级智能风险的条约，与框架公约会有很大不同。 Nakada Foundation 提出的框架 概述了此类条约需要包含的内容：:
- 算力治理: 对单次训练运行可施加的计算资源设定具有约束力的上限，并由硬件级验证提供支撑。算力是前沿AI发展的瓶颈，也是目前唯一可在国际层面衡量和执行的变量。
- 独立验证: 一种类似于核查的监测机制，让各方能够核实合规情况，而不是依赖那些从违规中获利最多的组织自行报告。
- 前沿AI覆盖: ：专门适用于最有能力 AI 系统开发的义务，而不仅仅是它们在社会语境中的部署。
- US-中国纳入: 任何不约束两个领先人工智能开发国家的条约在结构上都是不充分的，无论有多少其他国家签署。
《框架公约》是必要的第一步。承认人工智能受具有约束力的国际法管辖是一个重要先例。但 存在性技术治理的历史 （核、化学、生物）表明，一个领域首份条约很少针对最严重风险。需要多年持续的政治努力，才能建立真正约束最危险事物的框架。
这项政治努力需要现在就开始，而不是等到《框架公约》被宣布已解决问题之后，也不是等到已出现使约束性限制无法执行的能力之后。