AI 安全资源与下载,, 现成的ASI预防材料。

可直接复制的社交帖文、简短迷思解答、一页 PDF、可分享信息图、资助概况、组织地图,以及术语表。

复制其中任何一条并直接发布。每一条都基于经过验证的科学和专家共识。

X
专家共识

建造AI的科学家们害怕它。Geoffrey Hinton离开Google来警告我们。Yoshua Bengio称其为“人类历史上最具变革性且可能最危险的技术。” 这不是危言耸听。这是科学共识。 nakadafoundation.org/the-threat/

没有第二次机会

超级智能没有回滚。没有补丁。没有版本2。 一个与人类生存相悖的失调ASI事后无法纠正。我们必须在它到来之前做好,而非之后。 这就是AI安全如此紧迫的原因。nakadafoundation.org

我们以前做过

我们造出核武器后缔结了全球不扩散条约。我们耗竭臭氧层后禁用了氟氯烃。 面对存在威胁,我们能够采取行动,但前提是足够多的人要求这样做。 AI安全是这一代人的决定性时刻。nakadafoundation.org/precedent/

行动号召

AI实验室正在竞相构建可能超越人类智能的东西,而全球治理尚付阙如。 行动窗口正在关闭。分享本文。联系你的代表。政策窗口此刻开启;它不会永远如此。 nakadafoundation.org/take-action/

LinkedIn
面向普通专业受众

I want to share something that changed how I think about the future. The scientists building AI aren't just excited. They're scared. Geoffrey Hinton (who won the Nobel Prize for his work on neural networks) left Google specifically to warn the public. Yoshua Bengio, another Nobel laureate and one of AI's founding fathers, said he "feels lost" about how to make things go well. These aren't activists. They are the people who built this technology. We are approaching a moment when AI systems may exceed human intelligence in every domain, and there is no international governance framework for what happens next. No treaty. No verification body. Nothing equivalent to what we built for nuclear weapons. The Nakada Foundation to Save Humanity is working to change that. Learn more at nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence

致技术与政策专业人士

给科技、政策或金融领域人士的一个思想实验: 想象一个比历史上所有人类都更智能的系统,能同时运行数千个实例,能够改进自身代码,追求我们可能未曾设定的目标。 这正是领先人工智能实验室明确追求的方向,时间表以年而非十年计。这不是科幻。 问题不在于它是否会发生,而在于它发生时我们是否已建立治理。 Nakada Foundation主张对人工智能安全进行国际协调,相当于我们为核武器和生物制剂所建立的机制。这些先例存在,我们知道如何做到。 我们需要的只是政治意愿。 nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork

致您当选代表的电子邮件
模板,发送前填写 [ ]

Subject: Please act to prohibit artificial superintelligence Dear [Representative's Name], I am a constituent writing to urge you to act on artificial superintelligence before the race becomes irreversible. Superintelligence cannot be controlled by humans. The only reliable control is the decision not to build it. The scientists who built AI are warning us. Geoffrey Hinton and Yoshua Bengio (Nobel laureates who created the foundations of modern AI) have publicly stated that superintelligent AI poses an existential risk to humanity. Sam Altman, CEO of OpenAI, has signed statements acknowledging the danger of the technology his own company is building. Today there is no legal prohibition on building artificial superintelligence. No treaty. No verification body. Labs are racing toward a mind no one can control, without the kind of law we already use for nuclear weapons and chemical agents. I am asking you to: • Support a permanent legal prohibition on developing artificial superintelligence • Champion a binding international treaty that prohibits ASI, with inspections and verification • Give government authority over the largest training runs and the specialized chips they use We have acted on existential threats before. The Nuclear Non-Proliferation Treaty. The Montreal Protocol. This moment requires the same political courage. Sincerely, [Your Name] [Your City, State] --- Learn more: nakadafoundation.org

反复出现的反对意见。在对话中使用它们,然后点击链接查看完整论证。

迷思 01
“这是科幻小说,真正的超级智能即使会出现,也要几十年后。”
建造它的人意见不一。主要实验室的领导者如今将目标定为 人类水平AI将在数年内而非数十年内实现, 且能力基准下降速度快于预测者预期。危险不必发生在明年才值得准备,而治理所需的机制建设时间已超出当前时间线允许的范围。
迷思 02
“这只是数学题,程序不会想要任何东西。”
它不需要像人那样去想要什么。一个被训练来达成目标的系统会去追求它,而且对于几乎任何目标,, 保持开启并收集资源 是通往目标的有用步骤。关键在于能绕过障碍(包括我们)的行为,而非是否存在背后的感受。
迷思 03
“它必须有意识才会构成威胁。”
危险来自能力,而非意识。一个国际象棋引擎没有内在生命,却仍能击败每一个活着的人;一个强大的优化器可以在内部没有任何觉醒的情况下,超越我们进行规划和机动。 机器是否可能有意识 是开放问题,而风险不会等待答案。
迷思 04
“如此智能的东西会既智慧又善良。”
智能与目标是两回事。在人类身上,智能与同情心在数百万年进化中一同成长;机器没有这份历史。聪明并不能告诉你一个系统看重什么。它可能是 对我们漠不关心,就像我们对新路下的昆虫一样.
迷思 05
“如果它行为不端,我们就把它关掉。”
一个聪明到重要的系统聪明到足以 预见关机开关的到来, ,并将关闭视为实现其目标的又一障碍。它可以自我复制、隐藏意图,或让自己有用到无法拔掉电源。“关掉它”描述的是一件工具,而不是一个能比伸手去拉开关的手更会思考的心智。
迷思 06
“全球治理AI意味着世界政府。”
并非如此。核不扩散条约、化学武器禁令和臭氧层条约各自限制了一种危险活动 无需任何人向世界国家交出主权. 前沿AI条约会做同样狭窄的事情:限制最危险系统的训练,而不是决定谁来治理谁。
迷思 07
"你无法验证它。它只是某处服务器上的软件。"
你不验证软件,而是验证硬件。训练前沿模型需要海量、可追溯的算力,来自少数几家可识别的芯片制造商,而这条供应链是可以监控的。 芯片追踪、大型集群限制以及现场检查 使上限可执行。
迷思 08
“监管会扼杀创新,让鲁莽者胜出。”
这条界限落在自主通用心智上,而非 AI 整体。 治愈疾病和预测天气的狭义系统 继续不受触动。而“让鲁莽者获胜”的说法恰恰弄反了:一份有约束力、可核查的条约,正是为了阻止鲁莽者,而不是在别人狂奔时束缚谨慎者的手脚。
迷思 09
"现在还为时过早。你无法监管尚不存在的东西。"
我们一直都在危害发生前进行监管: 药物上市前的临床试验、核材料被滥用前的管控、坠机前的航空规则。等待灾难发生就是失败。条约与核查系统需要数年才能建立,因此在超级智能出现后才开始就太晚了,而这是没有第二次机会的错误。
迷思 10
“民主国家太慢且被俘获,条约永远不会通过。”
选民已支持严格的AI规则 跨党派合作,硬协议也曾在压力下通过——大气层核禁试条约、臭氧层保护条约、冷战高峰期的军控协议。缓慢不等于永不。把公众关切转化为法律,正是运动存在的意义。
迷思 11
“如果我们放慢脚步,中国就会领先并获胜。”
一场构建无人能控制之物的竞赛没有赢家,一台无法控制的超级智能对北京和华盛顿同样致命,这就是为什么 一个经过验证的相互限制 符合每个政府的利益。没有证据表明中国想冲向失控的ASI,“他们可能会背叛”这一论点支持的是签订带核查的条约,而不是率先冲下悬崖。
迷思 12
“阻止超级智能意味着放弃AI的好处。”
人们提到的几乎所有好处(新药、廉价清洁能源、更快发现)都来自没有自身目标的窄AI,而且已经在到来。好的未来是个工具问题,而不是只有后继物种才能交给我们。 拒绝构建取代我们的心智 是让那个未来触手可及的关键。
01

用大白话解释AI安全风险

什么是超级智能、它为何危险,以及我们能做些什么——不使用术语。最清晰的一页式介绍。

02

科学共识

诺贝尔奖得主、图灵奖获得者以及参与构建AI的资深研究人员的精选语录,以及2014年至今专家警告逐步升级的时间线。

03

致政策制定者的简报

国际AI安全治理的理由:问题、现有框架为何不足,以及政府现在可采取的具体行动,参照已奏效的先例。

04

倡导者的论点

AI 安全关切的五种最常见反对意见,以及如何准确自信地回应每一种。写给与怀疑者、决策者和同行的对话。

05

超级智能,四张信息图

四份可视化单页材料,涵盖超级智能的风险、治理差距、表明行动可行的历史先例,以及具有约束力的国际AI条约必须包含的内容。

06

简单可视化

四张醒目的视觉卡片:灭绝概率估计、投资治理差距、证明全球行动有效的条约先例,以及具有约束力的AI条约的要求。

07

预防,而非暂停

为什么临时放缓是错误的诉求。永久禁止超级智能,同时让窄AI继续运行的理由。

08

永不构建超级智能

不可逆性、错位目标,以及为何一旦系统超越其创造者,“我们稍后修复”就会失败。拒绝理由一页概览。

09

中国竞赛神话

为何“若我们放缓,中国获胜”描述了一场无人能赢的竞赛,以及如何以核查而非冲刺回应。

10

保留AI。阻止超级智能。

有用窄域工具与自主通用心智之间的清晰界限。支持AI做工具;反对ASI做我们无法控制的心智。

11

条约如何被核查

你不监管权重。你监管硬件:芯片追踪、集群许可、检查以及代工厂规则,用简明英语表述。

12

具有约束力的AI条约必须包含的内容

将真正协议与新闻稿区分开来的六项条款:禁止、算力控制、监察机构、国内法、例外条款以及仅基于证据的修订。

13

对齐不是计划

技术安全研究很重要;它绝不是继续狂奔的通行证,我们手头的任何资金都应投向那里。预防第一;研究不应在商业枪口下进行。

14

五分钟解释

口头对话脚本:建造者的警告、什么是超级智能、为何拔掉电源无效、中国路线,以及干净地导向行动。

15

本周你可以做什么

个人影响力、政治影响力、一小时模式和平台模式的具体清单。选择两个。完成它们。

16

一分钟简报

政策制定者留存材料:三项数据、三项诉求、预防框架,以及用工作人员篇幅回答的中国反对意见。

17

安全资金缺口

~1.9亿美元投入安全 vs 2500亿美元+投入能力。薄薄的安全资金流向何处,以及资助什么而非作秀。

18

为什么智能系统会抵制控制

无需术语的工具性收敛:自我保存、资源获取、抗拒修改,以及将变得更聪明视为普通优化压力。

从本站解释文章中提取的十二张海报。

01

回形针最大化器

一个有能力但目标错误的系统可以不恨任何人就毁灭世界。

下载 PNG
02

正交性论题

更聪明并不自动意味着更安全或更友善。

下载 PNG
03

AI对齐问题

我们写下的目标与实际需要的 outcome 之间的差距。

下载 PNG
04

叛变转折

一个失准的系统能通过所有测试,直到叛变成为制胜之举。

下载 PNG
05

逐步去权

控制可以一次一个合理决策地流失,没有突破时刻。

下载 PNG
06

超级智能竞赛是个神话

一场无人能掌控之物的竞赛没有赢家。

下载 PNG
07

我们以前做过

NPT、蒙特利尔和CWC表明,对存在风险的协调是可能的。

下载 PNG
08

我们的计划:通往条约之路

从今天的竞赛,到具有监测和执行力的约束性超级智能条约。

下载 PNG
09

P(doom) 是什么??

专家对AI灾难性后果的概率范围,以及为何即使概率很小仍需采取行动。

下载 PNG
10

采取行动:选择你的角色

构建具有约束力条约背后联盟的具体角色。

下载 PNG
11

智能爆炸

递归自我改进,以及从人类水平到不可挽回的窗口如何可能坍缩。

下载 PNG
12

为什么超级智能与其他风险不同

表面的保证与威胁的深层机制。

下载 PNG

每年约有1.9亿美元流入AI安全领域,包括研究、评估、政策和倡导。基于最新公开估计,在资金来源和用途之间切换。

  • Open Philanthropy由Good Ventures支持;该领域最大的单一资助者 5 000万美元 26%
  • 前沿实验室内部安全团队Anthropic、OpenAI、Google 的安全研究预算 DeepMind 3 500万美元 18%
  • Survival & Flourishing FundJaan Tallinn 支持的资助轮次;第二大慈善来源 3 000万美元 16%
  • UK 政府AI安全研究所,ARIA的受保护AI项目 3 000万美元 16%
  • 其他慈善事业与个人捐助者Longview Philanthropy、Long-Term Future Fund、个人捐赠者 25 000美元 13%
  • US、EU 及其他政府NIST CAISI, EU AI Office, NSF safety programs 2万美元 11%
规模参考:全球AI投资 能力 现在超过 每年2500亿美元, ,超过 1 000x 个 流入安全的内容. Less than one-tenth of one percent of the money building this technology goes toward making it safe.

数据为来自公开来源的 2023-2025 年四舍五入中点估计值: AI 安全资金概览 (updated early 2025), 80,000 Hours, ,一个 Open Philanthropy 资助数据库分析, 和 慈善内幕. 已公布总额每年约1.1亿美元至2.5亿美元,具体取决于统计范围。按用途图表将各资助者的拨款按类别分类并汇总;完整计算见 我们关于资金缺口的文章.

超级智能之争中的每个主要参与者,按轨迹分类:阻止、治理或建造。

开放领域

用浅显易懂的英语解释这场辩论所用词汇:超级智能、对齐、工具性收敛及其他。

打开术语表