技术界已发出十年警告。这些警告并未让实验室放缓。现在缺失的是政治意愿、法律框架,以及足以叫停这场无人能控竞赛的强大联盟。
Nakada Foundation to Save Humanity建立于单一前提:人类历史上最重大的决定——将决定我们物种是否存续的决定——不应由一个国家五家公司的少数工程师做出。
我们与AI安全研究机构并不一致,后者主要由正在竞相构建其所研究系统的实验室资助。我们认为AI安全领域的激励结构从根本上已被破坏,解决方案不会来自行业内部。
大部分资金与声望仍流向让竞赛更安全,而非终结通往 ASI 的竞赛。我们的工作是另一项任务:以具有约束力的法律阻止 ASI。超级智能无法被控制。
窄域AI具有变革性和益处。它能治愈疾病、加速发现并拓展人类潜力。我们不反对AI。我们反对构建我们无法控制、无法对齐且无法阻止的智能形式。
变革需要外部压力:来自政府、法律、文化,以及那些明白利害攸关的不是市场结果而是人类物种生存的人们。
我们对此有一个模型:the 核不扩散条约.
与AI安全研究机构不同,我们不构建、训练或在AI系统上做实验。我们不接受会造成使命与信息冲突的资助。
与AI伦理组织不同,我们只关注存在风险:而非偏见、公平或现有AI的滥用。这些是重要问题。但它们与灭绝不是同一问题。
我们以慈善性质的公众教育运动运作,而非学术机构。我们致力于转变公众认知、建立联盟,并让超级智能的约束性预防成为可能,正如历史上每一次成功的公共利益运动那样。
人们常常把我们归为“暂停”:给实验室几年喘息空间,让他们把超级智能做安全后再继续。但这不是我们的诉求。我们希望政府永久阻止人工超级智能。超级智能无法被人类控制。
区别至关重要。暂停意味着进度问题:放慢速度,让安全追上,再继续。 没有人有经过验证的方法来控制比其创造者更强大的系统。 无论小规模还是大规模。没有任何一种经过验证的方法。那些竞相构建它的人公开这么说。
如果这一点依然成立,那么用近似今日的方法构建超级智能,产出的并非需要小心管理的风险技术,而是无法恢复的结局。这正是2025年那本书最直白的论证。 如果有人建造它,所有人都会死, 《If Anyone Builds It, Everyone Dies》,作者 Eliezer Yudkowsky 与 Nate Soares。你不必接受书中每一项主张,就能看出不对称性:我们只有一次尝试,且无人能告诉你如何做对。
所以我们主张的条约是 不是让超级智能开发安全的方法。 目前尚无已知方法。条约是退出竞赛的出口:一项永久决定不再赌这一把。超级智能无法被人类控制。
这就是我们与AI安全领域许多部分分道扬镳的原因。大量 "safety" 工作 quietly 假设系统将被构建 并试图仅降低它们杀死我们的概率。我们认为这颠倒了问题。当你无法控制下行风险,且 缺点是每个人, ,负责任的做法是 停止建造危险的东西. 。超级智能无法被控制,因此答案不是更谨慎地构建。窄人工智能(能治愈疾病并加速发现的那种)继续发展。必须禁止构建的,是那些在所有领域都将超越人类智能的窄类系统。
用约束性框架禁止超级智能AI系统,而非自愿准则。工作包括用平实语言撰写解释、建立社交存在,以及创作让公众共享预防词汇的创意媒体。
争论集中在政府可用的三个瓶颈上:算力基础设施,少数芯片制造商控制着训练前沿模型所需的硬件;前沿AI实验室,商业激励压倒安全承诺;以及国际机构,条约框架必须在能力竞赛变得不可逆转之前建立。我们不在华盛顿或其他首都直接开展游说。
动员全球最大的慈善基金会、政府首脑、诺贝尔奖得主、名人和文化人物来放大信息、资助事业,并推动奥弗顿窗口的移动。
有效倡导的历史,就是不可能联盟的历史。民权运动联合了神职人员、工会和律师。核裁军运动汇聚了物理学家与诗人。我们正在构建将AI安全变为本十年标志性政治议题的联盟。
委托创作艺术、电影、新闻和媒体作品,让危险变得触目惊心且无可辩驳。气候运动数十年来部分失败是因为威胁抽象而遥远。AI风险并非如此,但必须让它感觉迫在眉睫。
安全必须变得有声望、紧迫且无法忽视。我们正与电影人、小说家、游戏设计师和记者合作,构建一场持久运动的文化基础设施,其中也包括经济论据,详见 为什么一位资本家相信ASI监管.
这些是政府可使用现有工具采取的具体行动。每项都有先例、有名称、有年份。
要求对超过规定算力阈值的训练运行获得政府许可(目前提议为1026 浮点运算)。要求在部署前进行独立安全审计。建立一个经过验证的、国际化的前沿模型训练运行登记册。 算力是瓶颈: :少数几家制造商——主要是台积电、NVIDIA和ASML——控制着构建前沿AI系统所需的硬件,这使得在算力层进行许可在技术上既直接又可核查。
上限只有在硬件本身被追踪时才成立。这些训练运行依赖的先进GPU可以注册,且正日益, 构建用于验证芯片上它们的位置和正在做什么, ,防篡改的位置证明和硅中设定的使用限制,使法律上限成为物理上限。这也是对离岸外包的回答:若无硬件级追踪,在国内触及上限的实验室只需将训练运行转移到宽松司法管辖区。把出口管制和芯片级验证扩展到整个供应链,才能防止算力悄然流向规则最薄弱的地方。
一项具有约束力的多边协议,禁止开发超过规定通用能力阈值的AI系统, modeled on the 核不扩散条约. 。任何国家都不应例外。 这不是一个按计划解除的暂停; ;这是永久禁止。超级智能无法被人类控制。NPT并不完美,但它已让核武器八十年未被使用。标准反对意见(“其他国家会违约”)是 这正是反对核不扩散的论点. 答案不是竞赛。答案是带有核查机制的条约。
一个拥有核查权的政府间机构,类似于国际原子能机构,负责核查算力限制的遵守情况,并要求前沿 AI 实验室执行安全开发实践。IAEA 是在《核不扩散条约》签署后三年内成立的。 在同一时间线上建立全球AI监测机构是可行的 如果存在政治意愿。其职责将包括强制报告训练运行、对主要AI实验室进行现场检查,以及向成员国发布有约束力的建议。
条约的真实性取决于其执行力。倡导一项条约却不指明法案,就是欺骗。成本是真实的。与它们所带来的收益相比,这些成本仍然很小。
有意义的执行意味着对数据中心进行现场检查、强制申报大型训练运行,以及让硬件自行报告位置和使用情况。这是对商业机密的侵入,若处理不当还会涉及隐私。核查验制度接受同样的侵入,因为替代方案更糟。保障在于监测是国际性的且透明,不属于任何单一国家或公司。
阻止超级智能意味着推迟可控版本可能有一天带来的好处,并要求公司和国家把巨大的短期利润留在桌上。这确实是真实代价。但不可控的超级智能不会把这些好处交给任何人,一个无法对齐的系统不是你能留下的资产。推迟一个没人能安全领取的奖品,并不算多大牺牲。
没有后果的规则只是建议。执法只有在违规会带来代价时才有效:出口禁令、金融制裁、排除在算力供应链之外,以及(如裂变材料一样)共同认识到一个流氓超级智能项目是所有人的紧急事件,而非私人事件。建立这一底线既困难又在政治上昂贵。但每一种严肃的军控机制都曾需要它。
执行的成本是有限的。不执行的成本则不是。
对执法的所有反对( intrusive、昂贵、限制产业)都是真实的且可承受的。唯一无法承受的结果,正是执法旨在防止的那一个。 我们付出有限、可知的代价,以排除无限、不可逆的代价. 。这是文明已经为 做过的同样交易 核武器、化学武器和生物武器.
你就是那个选区。帮助建立使这成为可能的政治力量。