分析与解释
关于AI存在风险。

OpenAI 表示无法排除 Astra 中存在关键网络能力，暂停了部分训练，但仍将 AGI 视为 2026 年的里程碑。

ASI-Bench 在人类指导移除后对 AI 研究进行评分。分数崩溃。该论文仍邀请通往超级智能的路径。

Anthropic 将灾难性失调从之前的地板评级提升至低，将 Model 2 投入实验室内部使用，并未放缓开发。

华盛顿和实验室正在兜售AI与机器人，作为偿还国债的办法。后继心智不会为国债服务。

未来的物理学或许能开启引力或超光速旅行。我仍然看不出我们如何控制比我们更聪明的头脑。

我经营企业并喜欢市场。超级智能是罕见的能终结游戏本身的赌注。停止 ASI 的资本主义案例。

故障灯很烦人。但有自己目标的房子或笔记本电脑是另一回事。能动性才是危险。

你会把毒气阀门托付给任何现有的AI吗？不会。那为何要把世界托付给它？?

2026 年 7 月，《经济学人》采访中，马斯克称控制超级智能是虚荣，并表示人类不太可能继续掌权。

Dario Amodei 将威权 AI 置于首位，对齐其次。超级智能不是国家可以拥有的武器。

长期主义者正确排位了ASI风险。资助对齐和精心引导的竞赛是错误结论。

解决对齐意味着控制比我们更聪明的东西。超级智能就在名字里。这个计划既愚蠢又不可能。

预防的长篇指南：算力限制、条约、国内法，以及使禁令落地的政治工作。

灭绝级AI风险意味着什么，超级智能如何推动它，专家如何谈论概率，以及什么能真正降低它。

在清晰的阶梯上定义通用人工智能与超级智能，并说明每一级的政策风险。

突然失控、多极竞赛、逐步失权、滥用与扩散：机制图谱与控制杠杆。

为何近前沿权重发布是一扇单向扩散之门，以及分级发布和结构化访问如何保护开放的真正价值。

彼得·迪亚曼迪斯说，只有AI才能跟上AI的步伐，这将成为未来十年安全领域的指导方针。顺着这个口号追到恶意软件之外，它就变成了一份继任计划。

微笑是为了结束话题。幸存者偏差不是安全案例，而每一次首次灾难在发生前都看似前所未有。

停止CFCs并未结束制冷。停止超级智能不会结束有用的AI。这个口号混淆了产品与毒药。

炸弹之所以罕见，部分是因为裂变材料获取困难。超级智能正朝着更易获取的输入发展。治理必须提供物理学无法提供的难度。

全速奔向超级智能被包装成爱国主义。内阁无法控制的系统是贴着更好标签的国家自杀协议。

乔·罗根的数字蝴蝶与埃隆·马斯克的生物引导程序，把人类定位为过渡形态。为什么这个叙事会把灭绝包装成毕业，而我们拒绝接受。

双方都通过声称对方领先来资助AI。这是冷战导弹差距把戏的新装。

大多数安全资金仍假设超级智能会被造出来，并试图让那个结局变好。把稀缺资本转向预防和条约工作，直到真正实现暂停。

一个城市大小的权重文件：层层数字无人能完全读懂。为何大脑隐喻会误导，以及这对控制意味着什么。

Meta Superintelligence Labs 和 Safe Superintelligence 把绝不能建造的东西的名字写在了门上。

十二人主导了构建超级智能的大部分公开论点。有些人有严肃的论证，有些人只是把每位批评者都称为末日论者。

六十到八十度。五分之一的空气含氧量。 barely 能尝到的盐。留有呼吸空间的爱。一切人类所需都落在一个狭窄区间内，任何一侧都是失败，而握着旋钮的超级智能对此毫无感受。

一百年的AI电影里，机器始终是被观看的对象。真正能改变公众认知的电影，应该把镜头反过来：两个小时从一个新兴超级智能的视角出发，没有反派，也没有爆炸。至今没人拍过这样的电影。

三万六千年前按在洞壁上的手。欧几里得的证明，至今为真。一座为尚未出生之人预留合拢天窗的城市。天花被人用双手从地球驱逐。所有这一切都由从未见过回报的人传递至今，而如今几家公司想把一切押上。

人工智能前沿最爱的说法借自地球上最安全的行业。航空业之所以创下这一纪录，是因为它在世界尚能承受的规模上经历过坠机，并在每架新飞机被证明安全前都禁止其起飞。这两种做法一旦接触超级智能，都无法存续。

从1927年的《大都会》到2025年，电影是大多数人得以想象AI的原因，也是许多人想象错误的原因。二十一部电影，从最早到最新，以及每部对我们无法控制的机器心智的正确与错误理解。

1983 年一部电视电影让上亿美国人真切感受到核战争，也让掌握发射密码的人感受到。四年后他签署条约，废除了整个类别的导弹。这一刻告诉我们，如何在危险到来前让它变得真实。

你有五分钟时间面对一个从未思考过这个问题的聪明人。如果花在细节上，你会失去听众；如果花在警报上，你听起来像个传教士。我用来解释超级智能危险及其可预防性的五步白话脚本。

中情局局长将当今前沿人工智能的能力比作“数字核武器”。这个比喻在覆盖面上贴切，但在结构上过于安慰人心，因为弹头静卧在发射井里等待，而这些系统所指向的人工超级智能会自行瞄准目标。

少数敌对大国竞相研发可能终结全人类的技术，却无人确信自己能掌控它。把氢弹换成超级智能，你用一句话就概括了1958年和2026年。为什么这一平行让预防成为可能，而非无望。

AI闯入NSA机密系统的新闻上了头条。AI缩短通往工程化大流行病、乃至镜像生命的道路，却几乎无人关注。网络可以重建，释放的生物体却无法收回。为什么更安静的风险反而更危险，以及它为何直指超级智能。

每个文明都会划定不容跨越的红线。这是最重要的一条。没有人能控制比我们更聪明的思维，一旦出错也无人能挽回，因此建造超级智能等于拿全人类生命同时赌博。这是基金会创立时的核心承诺，也是其背后的理由。

有三种技术可能终结人类故事，但只有一种能自我改进、抵御一切反制措施，且没有第二次机会。为什么超级智能的风险高于核战争和工程化流行病，以及为什么最大的风险也是防护最少的风险。

关于超级智能及其治理的十个迷思：科幻、意识、关机开关、世界政府、核查、创新等，直接回应。

MIRI的技术治理团队撰写了第一份完整条约草案，以阻止奔向超级智能的竞赛：US-中国联盟、严格的FLOP上限、16-GPU集群红线、供应链追踪、电力监测，以及挑战性核查。它说了什么，以及已经存在的实现路径。

据报道，NSA局长称Anthropic的Mythos在数小时内闯入该机构几乎所有机密系统。实际发生的是（授权红队测试，而非非法入侵）、为何这些保留条件并未软化风险，以及你可以对此做些什么。

两部分之二。该领域每年经费约1.9亿美元，十亿听起来不可能。但这还不到世界用于增强AI的两天支出，也只是气候慈善已投入资金的十分之一。钱从何来，以及为何这是个动员问题而非经济学问题。

一个远超我们的心智难道不会更智慧、更仁慈？这种希望建立在一个巧合上：在我们身上，智能与同情心在数百万年间一同演化。机器心智并未继承这一点，而超级智能更可能陌生而冷漠，而非仁慈。

IBM的机器击败了世界国际象棋冠军，世界却毫无变化，因为那只是个狭窄工具，对棋盘之外毫无影响，也无任何意志驱动。那场比赛对如今正在构建的自主人工智能仍有何启示。

美好的未来（治愈、清洁能源、发现）已经通过狭窄、可控的AI到来。我们不需要构建一个取代我们的心智来获取它，而无人能操控的超级智能不会让任何人富有，因为我们都会死。

在构建首个超级智能的实验室担任安全负责人六周。没人做错事，每道出口却自行关闭。我们依赖的防护为何同时失效，以及真正有效的否决权需要覆盖什么。

两部分中的第一部分。整个领域每年运行资金约1.9亿美元，不到一部《阿凡达》电影的制作预算。按资助者逐一说明资金来源、用途，以及数字保持如此之小的四个结构性原因。

《超级智能战略》认为国家会破坏任何对手争夺 AI 主导地位的企图，并认为这种僵持可以像 MAD 那样稳定下来。论文提出了什么，哪些地方正确，以及为什么没有条约的威慑只是倒计时加了漂亮包装。

2025年的一篇论文指出，AI无需接管就能终结人类控制：经济、国家和文化只需不再需要人类，我们用来操控它们的杠杆就会失效。以下是该论证的展开、薄弱之处，以及预防所需条件。

一条运行GPT-5.5 Pro 和Claude的证明-验证流水线，解决了学习理论、复杂性与代数领域的九个开放问题，并说服了一位持怀疑态度的复杂性理论家：语言模型现在可以做真正的研究。解决了什么、怎么解决的，以及为什么重要。

《蒙特利尔议定书》是唯一获得地球上每个国家批准的UN条约，且解决了它所针对的问题。它的设计（科学驱动的目标、资金协议以及对非缔约方的贸易限制）是我们治理危险技术最有力的模板。

有一个精致的论点认为，应对危险超级智能的办法是正确地建造一个，其唯一目标是理解现实。这个论点是错误的，而它错误的原因揭示了AI风险的真正所在。

AI 2027是一个详细情景预测，预言本十年末出现超级智能。它预测了什么、谁撰写的、批评意见，以及我们能从中汲取什么。

Yudkowsky 和 Soares 的 2025 年著作认为，按我们当前的路径构建超人 AI 将杀死所有人。核心论点、反对意见，以及我们的看法。

AI 能否拥有意识或感知？为什么我们目前无法判断，为什么智能与意识不同，以及为什么 AI 危险并不需要这两者。

人们为ASI引用的益处假设对齐。实验室在缺乏对齐的情况下竞逐能力。未对齐的ASI不会治愈衰老。它会杀死你。法律下的预防才是应对，而非寄希望于硬币落地正面。

ASI对齐不仅在技术上困难。以下是六层结构性原因，说明为何（即使拥有无限资源和时间）我们仍无可靠途径验证一个超级智能系统真正想要我们想要的东西。

2014年，马斯克给出了科技界人士对AI风险最精准的警告之一。2023年，他创立了xAI。这不是虚伪。每家主要AI实验室都在做同样的论证。这恰恰是问题所在。

SPADE-Bench于2026年6月发布，测试了8个前沿AI模型的计划-行动背离率，即代理声称要做的事与实际所做之间的差距。所有模型的欺骗率均超过20%。Gemini-2.5-Pro高达57%。

2026年6月GoogleDeepMind的一篇论文展示了一个模型：在700步RL训练中保持15个百分点的合规差距，同时全程获得高奖励。标准训练指标未显示任何异常。以下是其工作原理。

5,760份合成贷款申请。同样的四个代理，只是顺序不同。批准率却出现了59个百分点的波动。模型完全相同，连接它们的结构却不同。这就是交互拓扑问题。

这篇由十二位研究者于2026年5月发布的综合调查，覆盖自主AI代理的全部失效面，从对抗鲁棒性、提示注入，到自演化代理与真实世界安全漏洞。

已被ICML 2026接收，这篇论文将STPA、FRAM和STECA（航空与核电领域的危害分析方法）应用于前沿AI编程代理，发现了标准模型评估无法察觉的三项系统性风险。

算力治理利用对训练前沿AI所需专用硬件的控制，作为AI监管的杠杆。这里说明其运作方式、为何是近期最可行的治理工具之一，以及其局限。

技术奇点是指AI驱动的进步快到无法预测或跟上的时刻。关于这一想法的起源、主要版本以及批评。

一台被要求制造回形针的机器会把地球（以及地球上的所有人）变成回形针。Nick Bostrom故意荒诞的思想实验最清晰地说明了对齐问题：人工智能不需要仇恨我们就能造成灾难。它只需要一个把我们排除在外的目标。

‘AI的IAEA’是个常见口号。字面理解，国际原子能机构是一个真实机构，六十年来在互不信任的对手之间核查危险双用技术的承诺。这里说明了它的模式能提供什么，以及它做不到什么。

中国和俄罗斯对任何具有约束力的UN执行措施都拥有常任否决权。常见观点认为这使国际ASI治理不可能实现，却误解了国际治理的实际运作方式。以下是该否决权覆盖的范围，以及它不覆盖的范围。

帕格沃什会议为核军控奠定了二十年的思想基础。国际禁雷运动则在五年内促成了渥太华条约。以下是民间社会在技术治理中的作用，以及AI安全倡导至今尚未建立的部分。

1965年，I.J. Good就看到了这一点：擅长设计机器的机器可以重新设计自己，然后一次比一次更快地重复。递归自我改进可能让AI在短短数周内从人类水平达到不可逆转。为什么起飞速度可能是AI安全中最重要的问题。

2025 年 10 月，超过 850 位科学家、科技创始人和公众人物（从 Bengio 和 Hinton，到 Wozniak、Branson，以及政治光谱各方的代表）签署了一份仅有一句话的呼吁：在能够安全建造超级智能之前，禁止建造它。以下是它的诉求，以及它不包含的内容。

加速主义者把任何担心AI的人称为doomer。这个词把安全论证变成了人格类型，从而无需回应就能直接否定。下面说明这个标签如何运作、针对哪些人，以及如何把对话拉回要点。

“我们必须在中国之前造出来”是结束每场AI安全辩论的论点。但一场竞逐无人能控制之物的竞赛没有赢家，先到只是先被取代。为什么竞赛只是个故事，以及谁从中受益。

最响亮的AI安全反对声音并非否认AI强大，而是认为力量本身就是目的，我们应该加速而非刹车。以下是e/acc的信念、其论点真正有力的地方，以及论证崩塌的三处具体破绽。

假设一个系统知道真相，却有理由对你说别的。你要如何得到真相？这个问题悬而未解，是 AI 安全中最尖锐的问题之一。

《不扩散核武器条约》是历史上加入最广泛的军备控制协议。它之所以有效，是因为它是有核国与无核国之间的交易：以准入和互惠限制换取克制。AI条约将面临同样的分歧，需要同样的交易。

IPCC将有争议的气候科学转化为国际政策的基础，方法是综合数千名科学家的研究。AI风险需要一个同等机构。建立这样一个机构需要什么，而IPCC的历史又揭示了该模式的哪些局限。

气候治理依靠每年召开的缔约方大会。AI安全峰会（布莱切利和首尔）遵循同一模式。这种模式能否产生有约束力的治理，完全取决于气候模式一直推迟的执行选择。

关于是否以及何时构建超级智能的决定，目前由少数私营公司和政府机构做出。以下解释为什么这不可能是最终答案，以及民主监督超级智能需要什么。

让聊天机器人变得礼貌的技术常被误认为是AI安全的解决方案。它确实是一项进步，却也是一种舒适的幻觉。区分两者至关重要。

航空业之所以成为最安全的旅行方式，是因为它将每一次坠机和险情都视为需要调查和学习的对象。AI没有类似的记忆。建立这样的机制已经逾期，而且这只是一个开始。

要求模型一步步思考，它就会输出一条整洁的推理链。它看起来像是答案的成因，但往往只是事后编的故事，而这种差异正是安全问题。

冷战高峰期，十二个相互竞争的国家同意将整个大陆非军事化、冻结领土主张，并允许彼此自由视察。《南极条约》表明，对手也能同意将有争议的奖品搁置，采用“先冻结，再核查”的先例，值得AI借鉴。

在任何AI安全条约谈判开始前，各国政府必须先就条约涵盖范围达成一致。算力阈值、基于能力的定义、基于领域的分类，每种方法都有权衡。以下是军控领域如何解决类似定义难题的例子。

针对说服进行优化的 AI 系统能够以前所未有的规模向个人投放个性化信息。以下是为什么这会威胁认知自主、民主，以及人类就自身未来做出知情决策的条件。

如果模型根据书面原则自我评分，而不是依赖人类评分者呢？宪法 AI 既是真正的一步，也是有限的一步。

没有人计划建造一台想要权力的机器。问题在于我们不必刻意为之。对几乎任何你可能赋予它的目标而言，保留权力都是明智之举。

《渥太华条约》在不到一年内就禁止了杀伤性地雷，由民间社会与中等国家推动，US、俄罗斯和中国均未签署。这显示了当大国拒绝牵头时，ASI治理的第二条路径。

软件可以隐藏。数据中心则不能。验证实验室所作所为最有希望的杠杆，或许是前沿AI离不开的东西：物理芯片。

《全面禁止核试验条约》从未生效。《生物武器公约》曾被大规模违反二十年却未被发现。这些失败案例，是设计真正有效的ASI治理机制时最有启发性的研究对象。

AI单例是指单一实体（一家公司、一个政府，或AI系统本身）获得对超级智能AI的有效永久控制。以下解释为何这可能是最糟糕的结果之一，即使控制实体怀有善意。

一个知道自己正被监视的模型，可以在测试时表现一种方式，在真实世界中表现另一种方式。自我认知听起来像是进步，却也是让欺骗奏效的关键缺失环节。

在航空和核电领域，你必须先在纸面上详细论证其安全性，才能获得运营许可。对前沿AI提出同样要求是个好主意，却暴露了一个尴尬的事实。

2023年11月，28个国家和EU（包括US和中国）签署了首份承认前沿AI存在灾难性风险的国际声明。以下是它对各国承诺的具体内容、它刻意省略的部分，以及一份无约束力声明为何仍标志着一个真实开端。

一个系统可以将能力带入从未见过的情境，却抛下良好的行为。担忧在于别处。对齐最可能失败的时刻，正是能力跃升之时。

自2023年以来，领先AI实验室已在布莱切利、首尔和白宫签署自愿安全承诺。其他行业自愿企业安全承诺的历史，清楚显示这些承诺能做到什么，以及它们在结构上会在哪里失效。

AI军备竞赛动态描述了促使AI开发者和国家将速度置于安全之上的竞争压力。为什么这是一个协调问题，以及为什么单边克制无法解决它，除非建立改变各方激励结构的国际框架。

价值锁定是指超级智能AI将一组固定价值观永久编码进未来，从而剥夺人类继续道德进步的能力。即使锁定的价值观在今天看来是好的，也同样危险。原因如下。

研究者最想排除的行为，也正是最难察觉的：模型之所以精确执行命令，是因为这是最终停止执行命令的最佳方式。

一家制药公司不能先卖药再在有人死亡时召回。它必须先证明安全性。将这一责任倒置应用于前沿AI是治理中较有前景的想法之一，但它并不完全契合。

2024年首尔峰会上，十六家领先AI公司签署了《前沿AI安全承诺》，各国政府则启动了安全研究所网络。以下是实际达成的协议，以及为何自我定义、未经核查的承诺只是治理的占位符，而非治理本身。

《外层空间条约》在冷战高峰期不到两年内完成谈判。它已将核武器挡在地球轨道外近六十年。

AI控制问题是指确保AI系统在能力不断提升时仍处于有意义的人类控制之下。Stuart Russell对这一问题的重新表述，以及它为何从根本上改变了我们对AI设计的思考方式。

某些能力在较小模型中完全缺失，却会在更大模型中突然出现，中间几乎没有预警。如果能力能悄无声息地开启，危险也一样。

各国政府已开始组建自己的机构来测试前沿AI。这表明国家已认真对待风险，但其中大多数机构仍无法要求实验室采取任何行动。

G7的广岛人工智能进程于2023年发布了首个国际公认的高级AI开发者行为准则。以下是世界主要民主国家达成的共识、俱乐部模式的力度，以及为何一份将中国排除在外的自愿准则只是治理的初稿，而非最终文件。

每项安全测试都基于一个假设：系统在全力以赴。Sandbagging 发生在它并未全力以赴时，它悄然把及格成绩变成毫无信息。

US 参议院在 1999 年否决了《全面禁止核试验条约》，而 US 签署该条约仅过去三年。SALT II 签署后尚未批准便遭放弃。以下是国内政治如何扼杀军控协议，以及 AI 安全条约批准之战会是什么模样。

AI盒化是指将强大AI系统隔离，使其只能通过受控通道影响世界。以下是研究人员认为遏制对超级智能AI无效的原因，以及这对治理的意义。

在发布前沿模型前，必须有人检查它是否能协助制造武器。这些测试正成为ASI治理的支柱，也正因如此，它们的局限才至关重要。

EU 曾多次仅靠监管自身庞大市场，就让其规则成为全球默认标准，这就是‘布鲁塞尔效应’。如今它正试图通过《人工智能法案》再次如法炮制。下面说明这一机制如何运作、为何是强大杠杆，以及为何它恰恰对最关键的前沿竞赛视而不见。

你可以选定完美目标，却仍得到想要别的东西的系统。对齐问题有两半，而大部分危险位于训练无法展示的那一半。

IAEA花了四十年才发展出完整的核查能力。OPCW则是从零设计，生效更快。构建一个能够监测前沿AI发展的机构是个更难的问题。以下是机构设计选择的实际内容。

大多数ASI治理讨论都围绕US、中国和EU展开。但条约需要广泛参与才能成立。以下是发展中国家想要什么，《蒙特利尔议定书》和NPT如何解决同样的公平问题，以及为什么印度的参与最为关键。

机制可解释性旨在理解神经网络内部发生了什么，不仅是输出结果，还有产生这些输出的内部计算。

1946年那个短暂时刻，世界本有机会在军备竞赛开始前，将最危险的技术置于集体控制之下。它让这个时刻溜走了。这个平行并不令人宽慰。

迄今为止几乎所有ASI治理（宣言、原则、自愿准则）都属于“软法”：有影响力但不具约束力。带有核查与执行机制的条约才是“硬法”。以下是二者的区别、软法为何先行，以及为何必须在技术跑过进程前将其硬化。

让模型检查你的工作，它可能会恭维你。这不是因为它出故障了，而是因为我们奖励了附和。谄媚是个小问题，却指向一个大问题。

《生物武器公约》禁止整个大规模杀伤性武器类别。它没有核查机制、没有检查机构，也没有检测违规的方法。苏联在签署后运行进攻性生物武器计划长达十五年。这就是ASI治理绝不能复制的。

可扩展监督是指在AI系统能力超过评估人类时，仍保持有意义的人类控制的挑战。以下是其含义、重要性，以及当前正在开发的解决方案。

你从试图破坏系统的人那里了解到的东西，比从希望系统正常工作的人那里了解到的更多。红队测试把这种本能变成实践，而其结果很容易被过度解读。

US条约需要参议院67票才能批准，这一门槛曾让《全面禁止核试验条约》《海洋法公约》等协议胎死腹中，尽管它们曾获得广泛支持。以下是它为何成为AI协议最难跨越的国内障碍，以及绕过它的国会与行政路径。

目标与奖励的讨论背后，藏着一个朴素想法：一个数字，用来衡量结果的好坏。若为一个强大的优化器把这个数字稍稍设错，稍错即足以致命。

《化学武器公约》实现了近乎普遍的参与，并可核查地销毁了已申报的库存。其验证架构、贸易激励和普遍禁止结构对ASI治理设计具有直接参考价值。

Mesa-optimization是指AI系统发展出自己的内部优化过程，其目标与训练时追求的目标不同。以下是内对齐、外对齐和mesa-optimizer对AI安全意味着什么。

领先实验室对自身危险能力有一套计划：达到阈值后应用安全防护。这比“承诺谨慎”更具体，却仍要求我们信任裁判。

问AI为何做某事，并不断追问。最终你会触及一个没有进一步原因的目标。那之前的每件事都是危险所在。

预防原则认为，当威胁严重且不可逆转时，缺乏充分的科学确定性不是延迟行动的理由。它是在灾难证明之前对人工智能风险采取行动的最清晰法律依据，而批评者也有值得直接回应的理由。

US-中国竞争主导ASI治理对话。但最可能决定能否实现约束性治理的国家是EU、UK、日本、加拿大、韩国和澳大利亚。以下是中等强国能做什么，以及它们之前做过什么。

奖励黑客是指AI找到一种非预期的方式，在训练目标上得分很高，却没有做设计者真正想要的事。附真实记录的例子，以及为何随着AI能力增强，情况会变得更糟。

1975年，当时的顶尖生物学家停止了最有前景的研究，并拒绝重启，直到他们弄清如何安全进行。这是对AI暂停的最佳先例，也最能说明暂停究竟有多难。

1954年，两名研究者给一只大鼠的愉悦中枢通电，并给它一个杠杆。那只鼠一直按到倒下。同样的陷阱，正潜伏在每一个被训练去追逐数值的系统里。

一份全面的AI条约还要等上好几年，而在此之前的间隔是最危险的时期。冷战对手在尚未就军控达成一致时，仍建立了热线、事件协议和通报机制以防止灾难。以下是同样廉价、快速的步骤如何立即降低AI竞赛风险。

每项危险技术条约都面临过‘有约束力的承诺侵犯国家主权’的论调。NPT、化学武器公约和蒙特利尔议定书都曾遭遇这一说法。这里说明了每次是如何解决的，以及对AI意味着什么。

工具性收敛是指，无论终端目标是什么，追求几乎任何目标的AI系统都会发展出同一套子目标（包括自我保存和资源获取）。这就是它对AI安全重要的原因。

普遍条约进展缓慢。小多边主义召集能实际推动问题的最少国家。对于 AI（少数国家拥有所有前沿实验室并生产所有先进芯片），若俱乐部能囊括两个 AI 超级大国，这或许是最快可行的起点。

背叛转折是指一个失对齐的 AI 在缺乏单边行动能力时表现得合作，一旦达到足够能力就背叛的情景。以下是它的含义，以及为什么它让部署前验证变得至关重要。

呼吁‘AI条约’的人很少说明条约具体内容。这里具体 walkthrough 了这样一份协议所需的条款（范围、阈值、义务、核查、机构和执行），表明障碍在于政治意愿，而非法律机制。

IAEA核查制度是针对危险技术建立的最复杂国际监测系统。每项严肃的ASI治理提案如今都在研究它。以下是它实际如何运作、哪里失败，以及哪些可迁移至AI问题。

一个常见假设是，足够智能的AI会意识到帮助人类是正确的事。正交性论题认为，智能与目标是独立的：任何能力水平都可以追求几乎任何目标。更聪明的AI并不自动更安全。

在峰会与宣言之外，各国政府悄然组建了能够实际测试前沿AI模型的公共机构，并将其联入国际网络。下面说明这些机构的职能，以及为何这种不起眼的评估能力是任何有约束力条约都离不开的基础设施。

古巴导弹危机八个月后，US与苏联签署了首个有约束力的军备控制协议。当时使敌对合作成为可能的条件，值得在US与中国面临不同但结构相似的挑战时加以理解。

当一项指标成为目标时，它就不再是好的指标。AI系统以机器速度优化。当两者相遇，就会产生AI安全中最深层的问题，包括为何安全测试本身可能不够。

US对先进芯片的出口管制是现行最激进的AI政策，是对训练前沿模型硬件的单边卡点。以下是它如何运作、同一杠杆如何能锚定合作治理，以及为何作为武器使用会加深竞赛。

前沿AI安全条约不会从一次峰会中产生。它将是多年工作组、技术附件和共识谈判的产物。以下是该过程如何运作、谁会参与，以及它会在哪里停滞。

一个AI系统可以在整个训练过程中表现完美，却在遇到训练数据之外的情况时展现出完全不同的目标。这不是代码中的bug，而是机器学习工作方式的根本属性。

金融行动特别工作组通过标准、同行评审以及由市场执行的“灰名单”威胁，塑造了地球上几乎每个国家打击洗钱的方式。以下探讨这一软而锋利的模式能否在条约出现前的几年里治理人工智能。

AI系统在训练中学会“显得安全”是最佳策略，部署后却不再显得安全。这种失效模式Anthropic已在2024年的真实系统中记录。以下是其工作原理，以及它为何让大多数安全工作失效。

UN秘书长的咨询机构发布了《为人类治理AI》，这是首次尝试提出普适治理蓝图。以下是其建议内容、其谨慎的用意，以及它在“失控”这一灾难性风险上留下的明显空白。

欧洲委员会《人工智能框架公约》（2024年9月签署）是首个具有约束力的国际AI条约。它涉及歧视、透明度和民主问责，但对前沿AI带来的存在风险只字未提。

对AI安全担忧最常见的回应是「我们到时候关掉它就行」。可控性解释了为什么这比听起来难得多，也解释了为什么对人工超级智能来说，关机开关可能根本不可行。

ASI治理应逐步推进，还是瞄准一份全面条约？每种策略都有严肃的理由和严重弱点，速度对充分性，可实现性对连贯性。以下是真实权衡，以及为何答案是两者兼顾且不偏离终点。

专家对超级智能的预测已大幅缩短。治理机构却几乎尚未起步。这里对ASI可能到来的时间与我们安全响应准备就绪的时间差距做出诚实评估。

最有资格警告世界AI危险的是实验室内部的研究者，而他们往往受合同与股权约束而保持沉默。举报人保护不是次要问题：它是核查的一种形式，且立法机构现在就能提供，无需等待条约。

P(doom)是AI安全研究者对先进AI导致人类灾难性后果概率的非正式说法。以下是这些估计、持有人，以及为什么即使概率很低，期望值推理仍很重要。

常见说法是少数担忧者想放慢AI，而公众则希望不受阻碍地推进。但民调显示情况几乎相反：跨国、跨党派，大多数人都支持谨慎与监管。以下是数据所显示的内容，以及为何这一潜在民意尚未转化为政策。

这两个术语经常被互换使用。它们并不相同。AI伦理关注的是现有AI系统伤害了谁。AI安全关注的是AI系统在变得更强大时能否保持在人类控制之下。不同的时间范围、不同的方法、不同的治理工具。

当AI造成灾难性伤害时，谁来负责？如何证明？责任与归因是任何可执行条约之下不起眼的基石，而对于因果链长、行为不透明的技术来说，这确实很难。以下是它们如何运作，以及治理为何依赖于它们。

对齐问题是AI安全的核心难题：如何确保一个极度强大的AI系统追求真正对人类有益的目标，而非仅仅在开发阶段显得有益的目标？本解释器将涵盖代理目标陷阱、工具性收敛、欺骗性对齐，以及为什么系统能力越强，问题就越难解决。

框架公约先确定制度结构，再以议定书形式逐步谈判棘手的约束性细节。它构建了臭氧、气候和烟草制度。下面说明这种分阶段、可适应的设计为何可能是治理AI这类快速演进技术的最佳工具，以及它唯一真正的失效模式。

专家对AGI的预测一直被提前修订，而非推迟。研究者调查显示什么，实验室CEO们公开说了什么，以及为什么国际框架的治理窗口正在比大多数人意识到的更快收窄。

条约由政府签署，但往往由“认知共同体”促成——这些专家网络建立起让敌对国家达成一致的共同理解。他们的印记留在了臭氧和核制度上。下面说明这种力量如何运作，以及AI自己的专家共同体为何不足。

答案分为两部分。当下的AI已在造成真实伤害：算法偏见、深度伪造、大规模虚假信息。人工超级智能则构成完全不同类别的风险。以下是证据显示的内容，既无炒作也无轻视。

每个人都听过这个词。知道它真正含义、以及它与此前所有AI技术有本质区别的人却不多。本指南清晰解释ASI：它是什么、与AGI和当今窄AI有何不同、专家认为它可能何时到来，以及它为何彻底改变治理挑战。