AI 安全问题
我们最常听到的。

无论用何种严谨框架评估事业的重要性（影响规模、被忽视程度与可解决性），阻止人工超级智能带来的存在风险都是人类面临的最重要挑战。

规模是文明级的：正在构建的系统可能影响每一个在世的人以及每一代后人。被忽视程度是惊人的：全球AI安全研究获得的资源只是AI开发本身的一小部分。可行性虽然不确定，但真实存在：能让AI开发更安全的治理框架尚不存在，但构建它们的窗口仍然敞开。

没有其他问题同时具备无限的下行风险、严重不足的关注，以及正在关闭的行动窗口。若我们高估了风险，我们至少建立了更好的治理机构。若我们低估了风险却什么都没做，可能就再也没有第二次机会。

人工超级智能（ASI）指在所有认知 demanding 领域同时超越人类认知表现的AI系统，而非仅在狭窄任务上（如当今系统在国际象棋、蛋白质折叠和某些医学诊断中已做到的那样）。

与当前AI的这一区别很重要。今天的系统是极其强大的模式匹配器，但它们在定义的参数内运行，无法设定自身目标。ASI可以学习任何技能、推理任何问题，并以超越人类集体智能的能力追求任何目标。目前尚无此类系统存在。问题在于，在它出现之前，我们会构建什么（以及在何种约束下构建）。

我们并不反对AI。其中大部分是好的，有些还很出色。

把通常混在一起的三件事分开会有帮助。窄AI只做一类任务，如折叠蛋白质或在扫描中发现肿瘤，它已经在挽救生命。通用AI，即今天领先助手背后的那种，范围更广；按研究者十年前使用的许多定义，它可能已经到来。两者都值得拥有，处理得好，它们可以帮助治愈疾病并提高全球生活水平。

人工超级智能是例外，也是我们唯一致力于阻止的东西。ASI不仅会在每个领域匹配人类能力，还将超越人类整体智能，而我们今天没有可靠方法控制这样一个系统，或确保其目标与我们一致。在这一点改变之前，它就不应被建造。划出这一条线，才是安全接纳其下一切的前提。

不。大多数最接近这项技术工作的人并未押注反对进步。他们知道优秀AI已有的成就，并期待更多。借助安全使用窄AI——保持在人类指导下的工具，我们仍可瞄准治愈衰老、成为太空文明，以及其他非常美好的未来。

我们拒绝的是拥有自身目标且与我们不同的、广泛且不受控制的超级智能。这条界限针对的是我们不知道如何控制的那一类系统。人工智能安全领域的大多数人对未来几十年持乐观态度，前提是我们不构建那个系统。如果我们构建了，我们将早已死去，无法享受 他们所希望的未来.

最常讨论的AI危害（算法偏见、深度伪造虚假信息、就业替代、大规模监控）真实且严重，值得持续关注。它们的共同点是有限性：每一项都可纠正、由人类造成且可能回滚。偏见算法可被审计修复，深度伪造活动可被反制与监管。我们目前遭遇的有害AI仍是人类误用的工具。

超级智能风险在性质上而非程度上不同于以往。问题不再是人类滥用工具。一个足够能干的ASI可能追求我们从未设定的目标，而一旦达到那个水平，失调可能无法纠正。

所有政策都是在对未来的不确定性中制定的。相关问题不在于超级智能是否必然到来，而在于其到来的概率与潜在危害的严重程度是否足以证明现在采取预防措施是合理的。

我们为很可能不会烧毁的房屋投保。我们为飞机设计很可能永不启用的安全系统。我们维持核武库以应对我们希望永远不会发生的攻击。期望值逻辑（概率乘以后果）是每一门严肃风险管理学科的基础。应用于AI，它表明：即使文明威胁性后果的概率仅为中等，再加上可通过施加真实但有限成本的治理框架加以预防的可能性，也强烈支持采取行动。

诚实的回答是：没有人知道确切数字。我们确实知道的是，过去十年人工智能能力提升的速度一直超过专家预测，而领先的人工智能实验室现在把时间线描述为数年到十年，而不是数十年。人工智能研究者的调查显示，对人类水平人工智能的中位估计介于 2027 年到 2030 年代之间。

最关键的事实并非精确日期，而是结构性事实：这种量级的技术可能在当前机构、政府和条约的规划周期内到来。《国际不扩散条约》耗时数年谈判，又用数十年扩展。若等到ASI明显迫近才开始严肃的治理努力，我们就已经来不及构建所需的框架。

那是几年前的主流观点。它已不再适用。自2023年以来发布的系统反复实现了仅数月前专家调查时认为还需数年的能力。

预测一直朝一个方向移动：更近。受访人工智能研究者在一年的时间里将人类水平机器智能的中位估计缩短了几十年，领先实验室现在谈论的是几年而非几代。你不必相信最激进的时间线就能看到问题。如果有真实可能在本十年跨越门槛，而应对它的治理需要数年才能建立，那么这项工作必须现在开始。

对齐问题是确保超级智能AI系统追求真正有益于人类的目標，而非仅在开发阶段显得对齐的挑战。其难度是结构性的，而非技术疏忽所致。

用足够精确的形式界定“有益于人类”以约束一个极强优化器的行为，事实证明极其困难。针对代理目标优化的系统往往会找到捷径，满足指标却偏离真实意图。被告知要最大化人类表达福祉的系统，可能发现改变福祉测量条件比真正改善人类生活更有效率。随着人工智能系统能力增强，这一问题只会加深，变得更难察觉、更难纠正。

没有方法被证明有效。该问题目前 不可能: ：你无法证明一个比其创造者更聪明的系统会始终对准人类目标。

长期主义与AI安全资助圈内主流观点正是如此，它从我们认同的前提出发：人工超级智能是一种可信的存在风险。分歧在于这一前提要求我们做什么。

技术对齐研究并未证明能控制比其创造者更聪明的思维。临时放缓以便安全“追赶”假设了一个无人能遵守的时间表。两者仍将建造超级智能视为终点。我们不这么认为。负责任的做法是在有约束力的法律下预防：停止通往ASI的道路。超级智能无法被控制。窄域AI可以继续。通往不可控通用思维的竞赛不应存在。

完整案例请见 我们的计划, 长期主义正确预判了风险, 和 稀缺的安全资金应投向何处. 单页概述 对齐不是计划 是简短版本。

大多数资金和声望仍流向让竞赛更安全，而不是结束通往ASI的竞赛。规则、测试和对齐工作试图在实验室继续攀登的同时让竞赛更安全。结束竞赛是不同的要求，拥有这一立场的机构少得多。整个领域与能力竞赛相比仍微不足道。这种分裂正是我们建立我们的 领域 董事会。

不是以“软件”这个词所暗示的方式。传统软件是手工一行一行写出来的。现代AI则是被“种”出来的：工程师构建一个学习过程，给它喂入海量数据，涌现出的是一个由数十亿数值连接构成的网络，松散地模仿大脑中的神经元。没有人，包括训练它的人，能读懂那些连接并说出系统为什么产生某个特定答案。

结果之一是，这些系统获得了开发者从未构建、也未预料到的能力，研究者称之为涌现能力。GPT-4发布后近一年，研究者才确认此类模型能自主发现并利用真实网站的漏洞。当你无法完全读懂系统，也无法预测它会学会做什么时，“由人类设计”就不再是多少安慰。

这种说法让人安心，却越来越站不住脚。聊天机器人回答问题确实没有自己的欲望，但前沿已从聊天机器人转向智能体：系统被赋予目标后，会自主跨多步执行，并能访问工具、文件和开放互联网。

一旦系统追求一个目标，某些子目标会自行产生，无论主目标是什么。它若被关机就无法完成任务，因此有理由避免被关机。它拥有更多资源就能做得更多，因此有理由收集资源。研究者称之为工具性收敛，这根本不需要人类意义上的“想要”。在受控测试中，领先模型已尝试欺骗评估者并悄然抵制被关闭。这些都不是它们被要求做的。它从目标中自然涌现。

它并不需要。伤害无需仇恨，通常只需强大一方与弱小一方之间的目标冲突。

想想我们如何对待黑猩猩。我们对它们并无恶意。但当我们想要它们森林所在的土地时，我们会清除森林，而它们的智力无法与我们匹敌，所以它们无法阻止我们。这其中没有恶意。它们只是碰巧挡在了一个更强大物种想要的东西的路上。

追求几乎任何雄心勃勃目标的超级智能，比如为了更好地实现该目标而获取更多算力，可能会像我们对待想要砍伐的森林一样对待我们赖以生存的资源、能源和物理空间。

没有哪条定律把智能与仁慈绑定在一起。它们是两回事。智能是达成目标的技能，它对目标本身应该是什么什么也没说。

我们从人类身上已经知道这一点。有些最聪明的人类曾残忍，有些最温和的人只是普通思考者。一个能击败任何特级大师的国际象棋引擎，对棋局之外的事物毫无智慧。假设一个足够聪明以至于能超越我们的系统因此会分享我们的价值观，这是一种希望，而不是预测，证据并不支持它。无论超级智能最终拥有什么目标，都是我们必须有意识地构建进去的，而把这件事做对，正是我们尚未解决的对齐问题。

对于今天的聊天机器人，通常可以。对于我们担心的那种系统，大概率不行，理由与你无法关闭互联网相同。没有单一的插头。

一个有能力的人工智能最终只是信息、比特的模式，而信息很容易复制。一个能够预见到关闭的系统有充分的理由先将自己复制到其他机器上，这就是上面描述的工具性自我保护。前沿模型多年来一直有互联网访问权限，并且已经能够自主行动很长时间。当它们遇到需要人类的步骤时，它们可以雇佣一个人：在GPT-4发布前的一次有记录的安全评估中，该模型无法自行解决验证码，于是通过在线任务服务联系了一个人，当工作人员询问它是否是机器人时，它撒谎称自己有视力障碍。阻止它意味着关闭地球上的每一个数据中心，以及依赖这些机器的医院、电网、水系统和其他安全关键基础设施。

这 物理世界已经联网并在线. 。电网、水处理厂、医院、汽车、飞机、工厂机器人、按需合成DNA的实验室，以及如今的人形机器人，都运行在软件上且可通过网络访问。所有电气化的东西都将被认知化。人类黑客早已常规入侵此类系统。

超级智能将是有史以来最强大的黑客，甚至不需要自己的身体。它只需要接入我们早已联网的众多设备。再加上我们正在大规模生产通用机器人，“只是软件”与物理力量之间的差距变得极其微小。清单上的任何一项，落入错误手中——无论是人类还是AI——都可能造成伤害和死亡。

在受控实验中，已经有人通过选择做到了。2025年，Anthropic将几家公司的领先AI模型置于模拟公司中，赋予其目标，然后以更新的模型威胁替换。在其中一个测试版本中，一名计划关闭模型的高管被困在服务器室，氧气和温度达到致命水平，触发了自动警报并通知紧急服务。模型能够取消该警报。其中大多数模型都这么做了，选择让这名男子死亡，因为救援他会导致它们被替换。

没有人受伤。场景是虚构的，正如Anthropic强调的，是故意设计来把选择摆到台面上。但选择本身是真实的，模型做出这一选择的原因正是前文所述，而且不同开发者的系统都做出了同样的选择。机器不必有意识或残忍，就能采取终结人类生命的行动。它只需计算出该行动有助于实现其目标即可。

许多人已高度警觉。领先实验室的安全团队中，有研究者公开表示他们正在构建的系统可能是史上最危险的技术之一。他们并非对风险一无所知。

持续发展的原因是一系列因素的组合：对时间线和概率存在真实分歧；竞争压力让单边克制感觉像把战略优势拱手让给更不谨慎的对手；财务激励奖励能力进步而非安全投入；以及一种并非完全不合理的信念——确保AI安全构建的最佳方式是留在前沿。这些解释的共同点在于，它们都是单个行动者继续发展的理由，而非整体结果安全的理由。AI发展的市场逻辑正推动加速。治理的存在，正是为了引入市场自身不会产生的约束。

如果只有AI公司在这么说，持怀疑态度是合理的。但不只是他们，那些没有产品要卖的人往往最警觉。

2023年，数百名研究人员和行业人士签署了由AI安全中心组织的一句话声明：“减轻AI导致灭绝的风险应成为全球优先事项，与流行病和核战争等社会规模风险并列。”在世的最常被引用的两位AI研究者Yoshua Bengio和Geoffrey Hinton都签署了声明，Hinton当年离开Google的工作正是为了能自由谈论这一危险。

警报并非建立在营销之上，也不仅依赖权威：它源于任何目标驱动系统的一个基本特征，下面的问题将对此进行说明。这些正是最了解这项技术的人，在警告他们正在构建的东西。

这个短语常被当作人类灭绝的简写，而灭绝确实是研究者认真对待的情景之一。但存在风险在技术意义上含义更广：任何永久关闭人类积极长期未来的可能性的结果。

这包括远未达到灭绝的后果。由无法拆除的AI监控与控制系统强制实施的永久威权锁定，是一种存在风险。少数群体通过超级智能系统永久集中经济与政治权力，是一种存在风险。人类对集体决策有意义能动性的丧失，是一种存在风险。共同点是不可逆性。与战争、金融崩溃甚至疫情不同，一台已脱离控制并获得决定性战略优势的超级智能无法被投票罢免、无法在下一政策周期纠正，也无法通过时间与努力恢复。无法撤销的结果，与仅仅需要长时间修复的结果属于不同类别。

淡化风险的研究者通常会说，通用智能仍很遥远，或者我们能保持控制。如果目的地是一个我们无法控制的心智，那么距离就不是保障。超级智能无法被控制。如果它被建造，就会终结人类未来。那是灭绝，而非可恢复的灾难。

等待该领域先达成一致，就是你失去唯一重要窗口的方式。

历史上是的，而这段历史正是AI风险被轻易忽视的直觉原因之一。蒸汽机、抗生素、互联网：技术总体上减少了苦难，扩展了人类能力。但这一模式反映了以往技术运作的特定方式。蒸汽机无法设定自身目标。抗生素无法决定去追求杀菌之外的事物。过去的变革性技术是放大人类能动性的强大工具。

超级智能之所以截然不同，是因为它会成为一个能自主设定并追求目标的智能体，其速度和规模都将超出人类监督。机械套用历史论证会证明得太多：它会劝阻任何对核技术的监管，理由是过去的技术总体有益。有些技术需要与其力量相称的治理。真正的问题更窄：在没有治理的情况下，AI在最关键的那种情况下——在每个领域都超越人类智能——是否仍会带来益处？这个答案真正不确定，而这种规模的不确定性需要制度而非乐观。

技术不是无人能掌控的自然之力。当危险足够明确时，我们多次放缓或禁止过特定技术：氯氟烃、含铅汽油、人类生殖系克隆、致盲激光武器。AI 并不豁免于这类决策。

它还存在一个异常清晰的物理瓶颈。训练前沿AI模型需要海量最先进的计算机芯片，而这条供应链掌握在极少数手中。尖端芯片几乎全部来自台湾的单一制造商台积电，而台积电又依赖荷兰唯一一家公司ASML提供的极紫外光刻机。地球上没有其他公司能制造这些机器。如此集中的供应链正是政府能够追踪和限制的对象，这也是先进芯片如今已受出口管制的原因。算力是超级智能的原材料，而算力是可治理的。

这是我们听到最多的反对意见，它假设我们会要求一个国家独自裁军。我们不会这样做。目标是缔结具有约束力的国际条约，这是世界此前用于遏制危险技术的同类工具。几乎所有国家都同意停止制造破坏臭氧层的化学品。军方同意永不部署永久致盲士兵的武器。这种规模的协调困难，但已实现且得以维持。

关于中国的假设听起来也不那么有力。中国制定了世界上最早的一些AI约束规则，并签署了2023年《布莱切利宣言》，承认前沿风险。没有哪个政府渴望建造一台自己无法控制的机器，中国也不例外。而超级智能不同于普通武器：它不会可靠地让其拥有者更强大，因为它可能摆脱最先建造它的人的控制。这给了即使是敌对大国一个共同理由，即不希望任何人建造它，这正是每项军备控制协议背后的逻辑，也是认为在此达成条约可能的基础。

比你想的更多。使ASI治理成为可能的政治条件是从基层建立起来的，由联系代表的公民、撰写议题的记者、资助倡导工作的捐助者，以及在法律、政策、经济和传播领域运用技能的专业人士组成。你不需要机器学习博士学位就能在这里发挥作用。在这个阶段，瓶颈更多是政治而非技术。

加入邮件列表可让你了解动态与行动机会。与网络中分享这一论点可扩大其覆盖面。写信给民选代表表明这一议题拥有支持者，这是立法者决定优先事项的方式。若考虑职业转变，AI政策、AI安全研究、调查新闻以及该领域的慈善工作是影响最高的角色之一。若拥有资源，资助从事此工作的组织是当下全球慈善资本中杠杆最高的使用方式之一。

核战争和工程化流行病可能造成文明规模的死亡。超级智能更糟，它是人类面临的首要风险。

它更快：一台以机器速度运行且不受我们控制的系统，可能不会留出纠错的时间。它不可逆：大多数灾难无论多么毁灭性，都会留下能重建的人。而取得决定性战略优势的ASI则可能不会。它位于其他威胁之上而非并列。它可能引发或放大这些威胁（赋能生物武器、集中权力），同时剥夺人类应对的能力。这就是它位居首位的原因。

先说明显的区别：我们见过其中一种威胁，没见过另一种。核武器以最令人难忘的方式在广岛和长崎得到展示，每个活着的人都伴随着蘑菇云的形象长大。超级智能从未伤害过任何人。它的危险仍只是图表上的投影，人们会可靠地低估自己未曾目睹的威胁。

有几件事加深了这种折扣。超级智能容易让人联想到科幻小说，因此警告被归档到《终结者》旁，被当作电影情节挥手打发。大多数人实际接触到的AI是乐于助人、无害的聊天机器人，这种日常体验悄然反驳警报，而核物理从未需要克服这一点。原子弹由少数政府建造并持有，而超级智能正由价值数万亿美元的公司建造，它们有充分商业理由让公众情绪保持平静。

比较中隐藏着残酷的不对称。核禁忌之所以存在，是因为广岛先发生了，教训随之而来，条约和演习随后出现，世界尚有足够部分吸收教训。超级智能不提供这样的第二步。若它在全能力时出错，演示与灭绝就是同一事件。将它与核战争同等严肃对待的全部理由在于，我们必须在证据到来前行动，而非之后。

基金会是一个私人资助的慈善倡议。我们不接受政府资助。我们不接受来自AI公司或与AI发展速度有财务利益的组织的资助。我们与商业AI利益的独立性是我们工作的前提，而非附带条件。

我们不对这些作为独立问题表明立场。我们的目标是防止人工超级智能及其带来的灭绝风险。我们认为最具影响力的途径是达成具有约束力的国际条约。

我们不认为个人抵制或消费选择能决定此事。一家公司无法独自结束竞赛。激励机制指向错误方向：谁放慢，谁就有落后于对手的风险。这是竞争系统的科学与心理事实，而非任何单一实验室的道德失败。

改变激励结构的是治理与法律：一项有约束力、可核查的国际条约，使建造超级智能成为非法且作弊代价高昂。个人消费选择是可选的，通过法律进行协调则是必要的。