Nick Bostrom 在他2014年的书中创造了这个术语 超级智能, 将singleton定义为“最高层面存在单一决策机构的全球秩序”。一个控制所有核武器的政府是核力量领域的singleton。一家控制所有AI算力的公司将是AI能力领域的singleton。一个已对全球关键基础设施(能源、通信、金融)建立自主控制的AI系统,则是最具意义的singleton。
即使是仁慈的单一实体也会封闭未来。防止单一实体是国际ASI治理的结构性目标。
单例概念之所以有用,是因为它切断了关于哪个具体实体可能掌控ASI的争论。无论是一家私营公司、一个民主政府、一个威权国家,还是一个自主AI,结构性危险都是一样的:对人类历史上最强大技术的永久、有效、不可挑战的控制,且没有任何外部制衡。
形成单一霸权实体的路径
三条路径都产生相同的结构性结果:单一、永久、不可挑战的控制。公司路径和民族国家路径常被视为不如AI路径令人担忧,因为它们涉及人类决策者。但单一场景的结构性危险在于单一、不受监督、永久控制的结构本身,而非谁在控制AI。
为什么仁慈的单一实体仍具危险性
对单一超级智能体担忧最常见的误解,是认为只要这个单一超级智能体是真正的良善行为者——一个有仁慈意图的民主政府,或一个价值观真正正确的AI系统——就没问题。这个反对意见忽略了结构性的问题。
一个仁慈的单例仍然会产生 价值锁定. 。无论其价值观按当前标准多么美好,都会永久化,从而阻断道德进步——历史上每一时代“美好”价值观的错误,正是通过这种进步被揭示的。一个仁慈的单体仍会消除历史上用于捕捉和纠正大型组织与政府错误的制衡机制。一个仁慈的单体仍会消除多元主义——正是多元的视角与方法带来了大多数重大智力与社会进步。单体的危险在于其结构,而非控制者的身份。
历史上的帝国和主导力量最终都遭到挑战并改变。此前任何形式的政治主导都不是真正永久的,因为挑战者总能组织足够能力发起挑战。一个由超级智能AI支持的单一实体可以监控、预判并先发制人地阻止任何挑战在其组织之前,因为它拥有更早发现威胁的智能和信息获取能力。真正的永久性是单一实体担忧的显著特征。
多极替代方案
单一极的替代方案是一个多极世界,在这个世界中,多个行为体(国家、机构、国际组织)对ASI保持一定程度的控制和访问权,并通过相互制约防止任何单一行为体建立主导控制。这不是乌托邦;历史上多极性涉及冲突、竞争和重大伤害。但它保留了未来路线修正、价值修订和道德进步延续的条件。一个由AI支持的多极世界是一个未来依然开放的世界。
这是 的结构性目标 民主与国际监督 ,而非识别正确的行为者来控制它,而是防止任何单一行为者获得那种会关闭未来的控制。国际ASI治理框架、独立监督机构、分布式AI能力访问,所有这些都是在 singleton 形成压力下维持多极性的机制。
基金会的 治理提案 都以此目标为设计导向。具体政策机制(算力监控、部署核查、国际条约框架)旨在阻止任何单一行为体——无论是公司、政府还是AI本身——获得形成单一超级智能体的决定性优势。