AI安全如何达成
每年十亿美元

Start with where things actually stand. 第1部分 把每一笔慈善赠款、每一项政府安全计划以及前沿实验室花在自己安全团队上的每一美元加起来，每年总计约1.9亿美元。与此相比，世界每年投入超过2500亿美元用于提升AI能力，而且数字还在攀升。每花一千美元让这些系统更强大，用于让它们更安全的钱还不到一美元。

每年十亿美元将开始改变这种算术，而且这个数字听起来没有那么大。它不到行业已经在能力上花费的两天资金。它大约是美国国防开支的万分之一。它是气候慈善每年投入的十分之一，而气候慈善并不被认为资金充足。无论十亿美元是什么，对于一个建造这项技术的人以书面形式、以自己的名义与流行病和核战争相提并论的问题来说，它都不是一笔大钱。

所以这个领域资金匮乏，并不是因为十亿美元难找。世界早已在同一栋办公楼几步之外投入了数倍于此的资金。钱就在那里，缺的是把其中一部分挪过来的决定。

资金已经存在。全世界大约每一天半就会花费这么多钱让 AI 变得更强大。缺少的只是把其中一小部分转向另一方向的意愿。

十亿只是个起点

为什么是一十亿，而不是三亿？因为低于大致这条线，该领域只能一次做一件事。在1.9亿美元时，数字迫使残酷的分类。技术研究和模型评估吸收了约三分之二。倡导（让政府和公司根据研究发现采取行动的工作）仅占约5%，每年约一千万美元，不足一家大型科技公司游说一个国家首都的支出。一十亿美元将结束这种分类。它将让安全领域以有竞争力的薪酬吸引目前被实验室吸收的人才，使依赖单一主导基金的领域多样化，并资助改变结果而非仅仅记录结果的政治工作。

每年十亿美元与所有可比的历史案例相比都算 modest。人类基因组计划耗资约三十亿美元，被视为美国做过的最好公共投资之一。与其创造者将其与核战争相提并论的风险相比，一年十亿美元绝非慷慨数字。我们还在争论这是否负担得起，这本身才是奇怪之处。

十亿资金实际来源

这一切不需要新发明或非凡的慷慨。它只需要四个普通来源同时开启。其中任意两个认真执行，就能达成目标。

来源	每年可能
多元化慈善如今一个基金会提供了超过一半的慈善安全资金。相比之下，气候慈善每年流动超过100亿美元，来自众多捐助者。一个200亿美元的捐赠基金仅靠利息每年就能产生10亿美元；要达到气候总量的十分之一，或许需要五到十位认真出资人。	3亿美元
政府安全预算国家安全研究所已在UK、US等地存在。US每年在国家卫生研究院投入约470亿美元，仅用其中百分之一用于专门的AI安全工作，就接近5亿美元。	3亿美元
对算力的行业征税制药公司通过使用费资助了FDA约四分之三的药品审查；核工业则资助了其监管机构几乎全部开支。前沿AI每年已投入的算力与基础设施（超过2500亿美元）中，千分之四即可自行筹集整个十亿美元。	$M+ (单位:千美元)
被重定向的慈善资本捐赠者建议基金已持有超过2000亿美元已承诺但尚未拨付的慈善资金。大学捐赠基金和不断增长的有效捐赠基础设施又增加了更多。此处的请求是再分配，而非新增财富。	1亿美元
总计	~ 1B+ (单位:千美元)

第三行最重要，因为它是唯一不依赖任何人善意的来源。慈善可能随捐赠者改变心意而蒸发，正如该领域在主导资助方两年内将技术安全资助削减一半以上时所学到的。政府预算随选举更迭。向从制造风险中获利的行业征收法定税款则持久、成比例且有先例。我们已用此方式支付监督医药、航空和核电的监管机构。将一小部分安全资金与制造风险的算力挂钩，是支持该主张的自然延伸。 算力治理.

一旦风险清晰可见，资金就会快速流动

历史对此早已明确。当一种危险变得清晰可见，公众和政府就会迅速投入资金，速度之快足以暴露当下涓滴投入的本质——那是一种选择，而非资源限制。破坏臭氧层的化学品正是在《 蒙特利尔议定书, 其基金此后已转移数十亿美元，使较贫穷国家能够实现这一转变。COVID来袭时，世界在数月内筹集了以百亿美元计的疫苗开发资金。天花、臭氧、脊髓灰质炎：在每种情况下，制约因素从来不是钱。而是认知。

AI 安全尚未迎来它的认知时刻，原因在于结构而非资金。它所警告的危害尚未发生。没有患者、没有被淹没的城镇、没有悲痛的家庭来赋予它一张面孔，而如果这项工作成功，就永远不会有人。一个没有支持群体的风险，没有人会向掌握资金的人施压。一张更好的电子表格解决不了这个问题。

这是一个动员问题

这意味着通往十亿美元的道路，从根本上说不是筹款计划，而是让风险足够清晰、让认真对待风险足够有声望，从而让资金自然跟进的计划。这项工作沿三条路线展开。

让它可见。 人们能想象的威胁才是人们愿意资助的威胁：新闻报道、电影、数据和公共辩论，把抽象概率转化为立法者或捐助者能感受到的东西，这与气候和核军控获得认真资金之前所做的文化铺垫如出一辙。

让它享有声望。 当诺贝尔奖得主、前国家元首和受信任的公众人物将某个事业视为严肃议题时，规范和资金都会随之而来。关于AI风险的科学共识已经存在。滞后的是有财力和地位的人公开采取行动的社会许可。

使其成为强制性。 自愿捐赠如果大力推动，可能将该领域带到每年三四亿美元。要达到十亿美元（更重要的是，在任何单一捐赠者改变心意后仍能存续），则需要法律：征税、预算项目、条约义务。这就是基金会将工作瞄准 具有约束力的规则 也不仅限于说服。慷慨值得欢迎，但不能以此为基础。

所以，抛开每年十亿美元就是认真对待这一问题的雄心勃勃版本的想法吧。那只是最低版本。它不到我们目前用于加剧问题的两天支出，还不到一次性根除一种已肆虐三千年的疾病所需成本的一小部分。金额并不令人望而生畏。真正短缺的是将如此规模的风险视为我们相信自己警告的决心。

这一决定取决于公众压力，取决于政府从其所回应的人民那里听到的意见，以及我们是否有足够多的人将此事视为科学所指出的优先事项。让资金持久的规则理由见于 我们的计划, 而为它贡献力量的最快方式只需在 采取行动 页面。

但把这个数字与世界已在技术上投入的资金、或与人类过去为认真对待的危险所花费的金额相比，一十亿看起来不再雄心勃勃。它开始显得像是我们至少能做的，而且完全力所能及。