没有共享科学基础的治理是缺乏共同地图的谈判。1990年前的气候谈判说明了这个问题:对人为变暖是否正在发生存在争议的政府无法就适当响应水平达成一致,因为它们从不相容的事实前提出发。IPCC1990年发布的首份评估报告确立了变暖正在发生且可归因于人类活动。它并未结束关于该做什么的政治争论,但改变了争论性质,从关于是否存在问题的争论变为关于如何响应的争论。
在IPCC之前,气候科学是争议领域。经过三十年的IPCC评估报告,气候政策的科学基础已基本确立,无论政治上对应对措施仍有何争议。人工智能风险需要同类权威综合。构建一个等效机构需要什么,是一个有具体答案的问题。
AI风险的政治仍处于前IPCC状态。没有权威的国际机构来综合前沿AI风险的证据、评估灾难性后果的概率和特征,并产出各国视为治理决策共同事实基础的结论。这一缺口不是小麻烦。在缺乏共享事实前提的情况下开始的治理谈判,往往会产生更多受战略利益而非风险本身特征塑造的框架。
IPCC 实际上如何达成共识
IPCC不进行原创研究。它将世界各地大学和研究机构数千名科学家已发表的同行评审研究,综合成全面评估报告。综合过程涉及数百名专家作者,他们审查并总结各自专业领域的已发表文献。政策制定者摘要,即各国政府和记者实际阅读的部分,是由科学家作者与所有195个IPCC成员国政府代表逐行谈判产生的。
这一协商过程是IPCC政治权威的来源,也是其保守特性的来源。任何政府都可对摘要中的具体措辞提出异议,而该过程要求在摘要通过前解决所有异议。这意味着摘要反映的是所有参与政府都能接受的最低共同标准,几乎总是比不经政治过滤直接解读基础科学所得出的结论更为谨慎。IPCC的摘要始终低估紧迫性,相对于其所总结的完整评估报告而言,因为摘要语言必须通过政府审查。
尽管存在这种保守偏向,IPCC的评估已产生重大影响。从1990年首份评估报告确立人类引起变暖的基本科学依据,到2022年完成的第六次评估周期将证据描述为确凿且风险严重且广泛,已产生累积的规范性转变,使各国政府越来越难以公开否认气候变化的基本事实。随着每次评估周期,否认的政治成本因IPCC在几乎所有政治体系中被认可的权威而上升。
帕格沃什替代方案
在IPCC之前,对存在风险最具影响力的科学政策接口是帕格沃什科学与世界事务会议。帕格沃什始于1957年,响应1955年由阿尔伯特·爱因斯坦、伯特兰·罗素及其他九位知名科学家签署的《罗素-爱因斯坦宣言》,该宣言警告核武器危险并敦促各国政府通过和平方式解决争端。1957年7月在新斯科舍省帕格沃什村举行的首次帕格沃什会议,汇集了来自包括美国、苏联和英国在内的十个国家的二十二位科学家,讨论核武器风险。
Pugwash与正式政府间进程的不同之处在于其非正式性质。参与者以个人身份出席,而非政府代表。讨论不公开记录。来自敌对国家的科学家可以探索其政府尚未授权正式推进的立场和想法。这种非正式性使得在冷战线之间进行坦诚交流成为可能,而这在正式外交场合是不可能的。
帕格沃什会议并未直接产生条约,而是为后续正式谈判奠定了智力基础。相互确保摧毁作为威慑稳定基础的概念,在成为US官方政策前已在帕格沃什讨论中得到完善。《部分禁止核试验条约》(1963年)和《不扩散核武器条约》(1968年)都借鉴了帕格沃什讨论中形成的想法。该组织与长期担任秘书长的约瑟夫·罗特布拉特共同获得1995年诺贝尔和平奖,以表彰其对军备控制的贡献。
IPCC与帕格沃什代表科学政策接口可发挥的两种不同功能。IPCC将现有研究综合为具有政府间审查所赋予政治合法性的权威共识评估。帕格沃什则创造了跨越政治界限的非正式对话,使想法在具备政治可行性前得以发展。人工智能风险治理两者都需要:系统性证据综合以确立政策的共享事实前提,以及非正式跨地缘政治对话以在正式谈判开始前发展治理概念。这些功能可由单一机构或两个不同机构履行。
AI 风险小组需要采取的不同做法
一个仿照IPCC的AI风险国际小组将面临气候科学中不存在的若干挑战。
专有知识问题。关于前沿AI系统能力和风险的大部分已知信息掌握在少数私营公司手中。前沿AI安全的研究文献部分已发表,但最相关的信息,包括内部能力评估结果、安全测试结果和事件报告,是专有的。IPCC综合公开的同行评审研究。AI风险小组需要获取非公开信息来综合最相关的证据,这要求前沿AI开发者在规定的保密安排下向小组提供这些信息。设计这些安排是一项重大的治理挑战,没有IPCC先例。
速度问题。IPCC每五到七年发布一次主要评估报告,期间有更新。这个节奏适合以十年为尺度变化的物理现象。AI能力却以月为尺度推进。一个AI风险小组需要更频繁地发布评估,或建立近实时跟踪能力发展的常设监测职能,才能与治理决策保持相关。更频繁的报告通过IPCC逐行政府间审查流程更难产出,因为该流程设计上就很慢。
双重用途知识问题。气候科学是公开知识,不存在固有的安全风险。AI安全研究有时需要理解危险能力究竟可能如何被滥用,这就造成了权威评估所需的透明度与主张限制部分发现的安全顾虑之间的张力。一个AI风险小组需要处理敏感能力发现的程序,而IPCC从未需要开发此类程序。
为什么缺乏这样一个机构已经代价高昂
缺乏一个权威的国际机构来综合AI风险证据,这带来了目前可见的具体治理成本。
治理谈判建立在互不相容的事实前提之上。不同政府,以及政府内部的不同派系,对人工超级智能何时可能构成灾难性风险、这些风险的性质如何,以及何种治理措施能够应对它们,持有根本不同的评估。没有共享的事实基准,这些谈判往往会围绕政治上最便利的风险观点,而非最准确的评估,制定框架。
风险沟通零散且不一致。关于ASI风险的警告来自学术研究者、人工智能公司内部安全团队、智库和倡导组织等异质来源,没有共享方法论、共同词汇,也没有裁决分歧的程序。结果是公共话语在轻视与恐慌之间摇摆,缺乏可靠的权威参照点。IPCC对气候沟通的价值恰恰在于,它为记者、决策者和公众提供了一个可用来反驳轻视与夸大的单一权威来源。
“IPCC并未创造应对气候变化的政治意愿。它创造了共享的事实基础,使忽视问题变得政治上代价高昂。ASI治理需要同样的东西:一个拥有权威和方法论的机构,来确立前沿AI风险的证据实际显示了什么,从而让治理辩论基于共享事实,而非策略性便利的不确定性。”
IPCC为AI提供的最重要先例不是方法论上的,而是政治上的。IPCC成立于1988年,距其第一份评估报告两年,距第六次评估周期的发现被描述为“影响已广泛、迅速且加剧”三十四年。系统性证据综合的制度投入,早在采取行动的政治意愿到来之前就开始了。对于AI风险,相应的制度建设需要在有效治理窗口关闭之前启动,而不是之后。
一个具有政府间成员资格、授权综合已发表和在适当保密安排下未发表的安全研究、报告节奏快于IPCC、并可获取来自AI安全研究社区的独立技术专长的AI风险小组,可以在现有国际机构框架内建立。它不需要条约。它需要足够政府联盟的政治承诺来建立和资助。它是可以在有约束力治理义务之前、并为其提供支持而创建的那类机构。它是否会在其所要评估的技术使早期评估过时之前被创建,是一个答案窗口正在关闭的问题。
最强烈的反对
最公平的反对意见是,另一个科学小组只会空谈,而实验室仍在推进。风险确实存在。IPCC模式只有在把共享事实强制带入制定法律的房间时才有用。一个无法通往阈值和执行的小组只是做戏。评估必须与触发机制搭配。