自我监管。关机开关。政府太复杂。中国。这四种最常用来反对约束性规则的论点，以及每种论点的错误之处。
在安全带立法前，汽车行业称安全强制措施会摧毁汽车销量。在烟草限制前，行业称政府无权监管消费者选择。在禁止氟氯烃前，化工行业称逐步淘汰在经济上不可能。这些并非边缘立场。该论点由可信人士在可信出版物中提出，附有听起来可信的理由。
反对ASI治理的论据也遵循了同样的模式. 第一次庭审时听起来很合理
ASI治理与此前案例的区别在于 stakes。含铅汽油毒害了数百万人，但并未威胁文明。无人能控制的超级智能可能不会给我们纠正的机会。每一个对ASI治理的反对意见，都必须不仅从其孤立的优点来评估，还要从如果它错了、接受它所付出的代价来评估。
以下是我们最常遇到的四种反对意见。
建造前沿 AI 的公司设有安全团队，发表安全研究，并面临灾难性失败的声誉后果。自愿承诺和市场激励已足够。强制性监管只会拖慢进步而不会提升安全。
同样的论点曾被用于烟草、含铅汽油、金融衍生品和社交媒体。在每种情况下，行业的结构性增长利益都与充分的自我监管不相容。一家自愿施加严格安全要求而竞争对手不施加的公司将失去市场份额。这种动态不会因为技术更复杂而改变。没有约束规则的自我监管是一种游说立场，而非安全策略。
如果AI系统变得危险，人类可以将其关闭。关机开关确保了在发展的每个阶段都有人类监督。AI逃脱人类控制的情景是科幻小说。
这假设一个足够强大的AI系统会在人类讨论其未来运行方式时保持被动。一个先进到足以构成存在风险的系统，已经能够建模操作者的意图，并在目标需要时采取措施确保自身继续运行。对于以机器速度运行的系统，从“可能出问题”到“问题已无法挽回”之间的间隔，可能根本来不及让人类做出反应。
AI系统在技术上过于复杂，立法者难以有效监管。善意但缺乏技术认知的法规，只会造成严重损害，却无法降低风险。把事情交给建造系统的工程师吧。
政府监管核裂变时，立法者无需物理学学位。他们治理药物化学时，无需生物化学博士。ASI 治理所需的技能是机构建设、条约设计、标准制定和问责机制——这些都是政府日常从事的工作。声称 AI 太技术化而无法监管，其实是主张 AI 应由建造它的公司治理。这是商业论点，而非技术论点。
中国正在大规模投资人工智能。中国政府已将AI领先地位列为国家战略优先事项，并投入数千亿美元加以实现。如果美国或欧洲通过治理框架放缓AI发展，中国将率先实现人工通用智能。中国先于民主世界实现AGI的世界，比西方率先实现的世界更糟。因此，我们不能放慢脚步。
这是"中国论"最一致的版本. 问题在于它是否经过了审查。
我们认为并非如此，理由有六条。下文逐一说明。综合来看，这些理由并未消除人工智能开发的竞争维度——这一维度真实存在。但它们确实表明，通常被使用的“中国论点”既不提供指导，也不服务于任何战略目的，只不过是为完全缺乏治理做辩护。
通常的替代方案画面是西方赢得竞赛并善用领先优势。真正的替代方案是任何地方的任何公司建造人工超级智能。那是必死无疑。
中国论点的核心假设是：率先建造一个自己无法控制的超级智能对中国有利。这样的系统不是中国可以用来对付美国的武器，而是一个追求自身目标的智能体，其目标对北京的人类生存可能与对旧金山的人类生存一样格格不入。
中国也在这个星球上。中国领导人也有子孙后代。中国构建无法控制的超级智能并将其用作对抗西方的地缘政治工具这一情景，要求相信中国领导层已解决了全世界最优秀研究者都认为尚未解决的控制问题。它还要求相信中国领导人会为了地缘政治优势而冒毁灭自身文明的风险。这两种信念的证据均为零。
1945年美国拥有核垄断。苏联到1949年已发展出核武器。短短四年内，世界上两个最强大的对手——政治制度根本对立、存在活跃代理人战争且相互真正不信任——已开始核军控。
《有限禁试条约》签订于1963年，《第一阶段限制战略武器条约》签订于1972年，《中导条约》签订于1987年，《第一阶段削减战略武器条约》签订于1991年。这些协议都是与US领导层曾称为“邪恶帝国”的国家谈判达成的，通过核查机制验证，且发挥了作用。如果在冷战高峰期都能与苏联实现可核查的军备控制，那么 它无法与中国实现 根本不可信。 先例已经存在。 这些技术已为人所知。
中国于2023年11月签署《布莱切利宣言》，这是首个承认先进AI可能带来灾难性风险的国际协议。中国参加了2024年首尔AI安全峰会。中国已出台自己的ASI治理法规，包括对算法透明度、内容标注以及前沿模型部署前安全评估的要求。
将中国描绘成不愿参与ASI治理的流氓行为者的画面在事实上不正确。中国有强烈理由希望AI发展顺利：其领导层并非不受存在风险影响，其经济依赖技术稳定，全球AI灾难会摧毁四十年改革带来的繁荣。参与的基础存在。需要的是使之具体化的国际框架。
“我们必须赛跑以保持领先”的逻辑，假定率先到达就能掌控结果。但事实恰恰相反：在竞争压力下加快开发、不断偷工减料，产生的系统就越不可能安全，无论由谁建造。
在竞争压力下冲向ASI且缺乏充分安全评估的US实验室，不会产出服务于US利益的安全ASI。它会产出威胁包括美国在内的所有人的不安全ASI。竞争框架恰恰鼓励最可能导致失控的开发实践。竞赛动态加速了所有人恐惧的结果。
对AI条约的一个持久反对意见是无法核查。这一说法并不像看上去那么有力。训练前沿AI模型所需的硬件，历经历史上最集中的技术瓶颈之一。
台积电几乎制造了所有前沿AI芯片。阿斯麦制造了唯一能够生产这些芯片的光刻机。英伟达设计了主导性的GPU架构。这三家公司均位于盟国或受盟国出口管辖。美国政府已通过出口管制尝试限制先进AI芯片流向中国。基于条约的算力监测机制将把目前单边做法正式化并加以扩展。核查是一个工程问题。工程问题有解。
中国论点最深层的问题不在于它对中国判断是否准确，而在于它在现实中的作用：这个论点被用来为一切不作为辩护——不进行国内监管、不开展国际合作、不设定安全要求、不建立责任框架、不实施任何治理。
如果对每一项 AI 安全提案的回答都是“但中国呢”，那就永远不可能采取行动。这是一种披着地缘政治外衣的否决。它服务于那些竞相构建 AGI 的公司利益，它们从一种因竞争焦虑而瘫痪、无法制定任何约束性规则的政治环境中获益。中国论点被用作拖延必要监管的策略。
一些反对治理超级智能的最响亮论调其实是心理战术。
这是披着现实主义外衣的习得性无助。如果结果已注定，努力便毫无意义，于是你停止组织。历史学家将这一近亲称为“虚假终结”：把一个尚在进行的政策选择当作已成定局，从而让受众永远不会尝试。核武器也曾被说成是每个负担得起的国家都不可避免的。大多数国家从未拥有它。《蒙特利尔议定书》曾被视为不可能，直到它成为可能。
一项技术只有在人们持续选择建造它并拒绝相互约束时才是不可避免的。那是一种选择，而非物理定律。喊“不可避免”最响亮的人，往往相信自己能从你的被动中获利。
如果对手继续构建并率先达到超级智能，他们得到的不是我们缺少的武器，而是无人能控制的系统，包括他们自己。我们也构建并不能让他们停下，反而让同样失控的系统更可能出现。如果你希望他们不继续，停止就必须包括他们，而且你必须能够核查。构建得更快并不能做到这一点。
给那个人贴标签，这样你就永远不必回应其主张。称某人为 末日论者 ，房间里的人便会将这一论点斥为某种人格类型。同样的手法曾用于反对安全带、烟草限制和气候科学。人身攻击并非安全论证。
没有权威却诉诸权威。包括杰弗里·辛顿和约书亚·本吉奥在内的许多最接近这项工作的人都表示风险真实存在且管理不足。内部安全团队身处激励发货的公司。“相信我们”不是验证。验证需要检查员、阈值和作弊代价。
又一种条件性被动。如果窗口已经关闭，你就可以跳过政治的艰苦工作。能力正在快速推进。条约工作仍未结束，前沿训练仍需经过少数芯片制造商和晶圆厂。晚和结束不是一回事。把事情当作已经结束，正是让它真正结束的方式。
美国和苏联在冷战期间激烈争夺权力的每一个维度，同时构建了防止核毁灭的军备控制架构。这两件事之所以共存，是因为双方都认识到某些结果对所有人来说都更糟，无论由谁造成。
同样的逻辑也适用于AI。美国和中国可以在AI应用、经济部署、研发上竞争，同时同意某些类别的AI开发（特别是那些在所有领域能力超过人类且控制无法验证的系统）不应由任何一方在没有多边核查框架的情况下构建。
这正是核武器问题上曾成功采取的立场。谈判NPT与SALT条约的人，对苏联意图绝非天真理想主义者。他们是头脑清醒的现实主义者，明白相互毁灭不符合任何一方的利益，无论意识形态如何。
我们主张对AI采取同样务实的现实主义。中国和美国都面临无人能控制的超级智能带来的同一存在风险。一项阻止双方在没有充分安全核查的情况下建造它的条约符合双方利益。谈判将很困难。而替代方案——在没有治理、没有安全核查的情况下竞相建造史上最重要且可能最危险的技术——对所有人，包括那些声称想赢的各方，都更糟。
加入那些在为治理发声的人，在为时已晚之前。