阻止超级智能并不意味着砸碎每一块芯片或终结机器学习。它意味着在法律和实践上禁止开发人工超级智能。超级智能无法被人类控制。这是一项永久禁令,而不是一个到期后重新进入同一竞赛的定时暂停。
必须停止的与必须继续的
狭义 AI 折叠蛋白质、阅读扫描、优化物流并留在限定领域内,应该继续推进。目标是通用、递归改进的超级智能以及针对它的程序,通过算力阈值、能力测试和研究规则进行筛选。批评者称“他们想禁止 AI”是在散布抹黑,保护这场竞赛。
为什么实验室的承诺不够
负责任扩展政策和多实验室承诺可以披露意图。但它们作为主要控制系统是失败的。同一家公司制定政策、运行测试、评判结果,并从发布中获利。在竞争下,内部规则会弯曲。外部法律必须提供咬合力。见 自愿承诺.
执法阶梯
想象悬崖上的一架梯子。
公众意愿 基础在于:能够明确提出要求并惩罚只提供创新表演的领导人。
国内法律与机构: 大型训练运行的许可制度、已知ASI开发的刑事和民事责任、具备真实访问权的评估机构、举报人保护。
芯片与云端: :出口管制、集群KYC、电力与数据中心可见性。硬件是物理的,这正是治理的优势。参见 算力治理.
联盟条约: :覆盖大部分前沿能力的核心国家集合,附带数值附件,而非仅有原则。不信任是常态;验证的存在正是为了让各方无需依赖友谊。参见 条约设计 和 NPT 教训.
验证机构: :检查员、FLOP时间表、事件报告、触发后果的权力。想想数据中心和训练的IAEA式能力,而非清谈会。
现行禁止条件: 仅在独立科学界和公众在不受实验室控制的机构下共同达到高标准时才重新开放。
每一级都支撑下一级。没有算力规则的峰会,或没有公众意愿的算力规则,都无法完成攀登。
国内政治是问题的一半
在美国,再优美的日内瓦文本若无参议院路径或能通过的成文法与国会-行政协议,就不具约束力。要从能赢得的票数倒推设计工具集。其他国家也有各自的批准陷阱。跳过国内设计,你得到的只是新闻稿。见 三分之二问题.
中国、竞争对手以及竞赛借口
无限扩展的主导借口是:如果我们放慢,他们不会。共同脆弱性是双刃剑。不可控的超级智能是在向国旗致敬的同时失去国家的方式,而非国家资产。核查、硬件拒止和相互暴露突破计划,适用于互不信任的对手。见 竞赛神话 和 US-中国合作.
打开权重
高端开放通用权重创造了一条出口管制仅能部分应对的扩散路径。一旦权重公开,就无法集中召回。应将高端通用发布视为扩散决策,而非普通产品发布。参见 开源权重风险.
你能做什么
让行动与你的影响力匹配。
选民:: 联系代表提出有约束力的禁止要求,而不是模糊的“要小心。” 工作人员:: 起草带有数值触发器的许可和评估法案。 捐赠者:: 资助能推动投票和条约文本的倡导活动。 科学家:: 支持永久禁止并帮助设计验证。 实验室员工:: 当内部安全被推翻时使用合法报告渠道。特定角色的力量胜过泛泛的焦虑。见 采取行动.
大部分资金和声望仍流向使竞赛更安全,而非结束通往ASI的竞赛。能壮大停止的捐赠仍很稀缺。
成功的模样
两年内:在多个司法辖区出台有实效的法规,对芯片实施更好的终端用途监控,出现包含具体数字的严肃谈判文本,公众对具有约束力的禁令形成持久支持。五到十年内:许可算力覆盖大部分前沿产能,实现有效检查,对训练活动形成联盟覆盖,并营造一种让突破变得昂贵且显而易见的文化。峰会公报本身不算数。
失败模式
重新定义(用“高级辅助”代替ASI)。评估者被俘获。缺乏核查的象征性条约。等待“对齐问题解决”后再获准构建。不付出代价的背叛。把它们点明,才能在攀登途中设置护栏。
无神圣文本的条约设计
没有单一神圣的草案。有的是设计家族。一个覆盖大多数前沿产能的核心联盟可以先行动。框架-附件排序(先原则,后可更新的数字时间表)借鉴了成功的环境与军备制度。对非缔约方的贸易措施改变了退出数学。多边基金或技术准入交易可以争取担心被锁定在窄AI之外的国家。MIRI式草案是一个完全指定的提案;NPT、蒙特利尔与化学武器法是先例库。选择你能核查的结构,而不是只能赞美的诗。
接近界限的研究
最难起草的问题是紧邻禁令的工作:能动系统、自动化AI研究助手、大规模自博弈。禁止明确的ASI路径。许可并检查灰色地带。不要假装每篇论文都是炸弹,也不要假装自动化AI研究是普通科学——当它缩短了通往无人能推翻的系统的路径时。
正义与谁来买单
算力规则对企业和国家的影响将因工业基础不均而不同。公平的制度应在能力阶梯顶端施加限制,同时继续提供有益的窄域工具,且不会用“安全”作为永久技术等级制度的借口。重点是共同生存,而非垄断进步。
回答两个难题
"我们将失去经济。" 部分资本会重新配置。部分股权故事会缩水。这些成本在季度电话会议上清晰可见。灭绝与永久失权却不会作为一行项目出现。当替代方案是文明存续时,可见成本并不会自动胜出。
"总有人会背叛。" 叛逃是设计输入。核查、硬件拒绝、制裁以及相互揭露突破计划的存在是为了改变回报。完美合规不是标准。提高作弊成本才是。
再次的阶梯
公众意愿。法律。芯片。条约。检查员。永久禁止。攀登意味着按顺序安装横杆,并拒绝将一堵画出的墙假装成梯子。文件、工业瓶颈和法律先例已经存在。力量应放在下一个你真正能触及的横杆上。完整设计存在于 我们的计划. 。创始理念更简单:: 不要构建超级智能. 超级智能无法被控制。