这篇文章诊断了该领域为何资源匮乏。 第二部分，AI安全如何每年获得十亿美元 阐述了它如何达到这个预算的五倍，以及资金的来源。
如果请人们猜测世界为确保ASI顺利发展投入了多少资金，大多数人会猜到数十亿美元。构建它的科学家不断警告其可能带来危险；理应以对待严肃问题的力度来资助应对措施。但事实并非如此。将所有慈善资助、政府安全项目以及前沿实验室自身安全团队的支出加总，每年总计约1.9亿美元。而全球对AI能力的投资早已超过每年2500亿美元。每投入1000美元用于增强AI能力，用于确保其安全的资金不足1美元。
那一亿九千万美元的数字值得细究，因为这个领域的估算本来就很混乱。公开的总额从大约一亿一千万到两亿五千万美元不等，取决于是否把政府研究所、实验室内部团队和学术工作都算进去。以下是我们根据公开资助数据库和预算披露自行统计的结果，按资助方逐一列出。
资金来源
| 来源 | 每年估计 |
|---|---|
| Open Philanthropy由Good Ventures支持；自2014年以来已向AI安全投入超过3.36亿美元，近年每年约4600万至5000万美元 | 5 000万美元 |
| 前沿实验室安全团队Anthropic、OpenAI、Google DeepMind 的内部安全研究，估算值，未公开 | 3 500万美元 |
| Survival & Flourishing Fund主要由 Jaan Tallinn 支持；仅 2024 年一轮就拨款超过 1900 万美元 | 3 000万美元 |
| UK 政府AI Security Institute 加上 ARIA 的 £59M Safeguarded AI 项目 | 3 000万美元 |
| 其他慈善机构与个人Longview Philanthropy、Long-Term Future Fund、较小的基金会、个人捐赠者 | 25 000美元 |
| US、EU 及其他政府NIST的CAISI、NSF安全项目、EU AI办公室 | 2万美元 |
| 总计 | ~1.90亿美元 |
有两点特别醒目。第一，这不是一个多元化的领域。一家私人基金会提供的资金超过总量的四分之一，也超过所有慈善资金的一半。第二，政府份额是近期且脆弱的，大多始于2023年，而且UK和US两个机构在成立两年内都把“安全”从名称中去掉了。
资金去向
没有资助方公布按用途的支出明细，因此我们自行对资助进行分类：取上述每个来源，将已知资助和项目归入类别，并汇总各资助方。Open Philanthropy的公开资助数据库显示，2024年技术安全资助约2800万美元，其中68%用于评估与基准测试。UK的AI安全研究所按授权是评估机构，而ARIA的“受保护AI”项目属于技术研究。生存与繁荣基金的受资助者涵盖技术工作（MIRI）、评估（METR、Apollo Research）和倡导（CAIS行动基金）。Longview的AI项目偏向治理。实验室内部预算几乎全部用于技术。结果如下：:
| 它支付什么 | 每年估计 | 分享 |
|---|---|---|
| 技术安全研究对齐、可解释性、鲁棒性、实验室团队、ARIA、NSF、学术界、非营利组织 | 8 000万美元 | 42% |
| 模型评估与基准测试危险能力测试，UK AISI、METR、Apollo、Open Phil 的评估资助 | 5 000万美元 | 26% |
| 治理与政策研究条约设计、安全标准、算力治理 | 3 000万美元 | 16% |
| 领域建设与人才奖学金、研究培训项目、职业通道 | 2万美元 | 11% |
| 倡导与公众参与运动、公开信、草根组织 | 1 000万美元 | 5% |
类别总额是基于估算的估算，许多资助横跨多条界线：一家评估非营利机构做技术工作，一家治理研究所开展奖学金。但无论如何合理重新分类，形状都保持稳健：技术研究与评估约占全部资金的三分之二，而倡导（真正改变政府和公司行为的行动）仅占二十分之一。
《阿凡达：水之道》的制作成本，高于全世界一年在AI安全上的总投入。一个前沿训练集群的成本，超过该领域十年总预算。US联邦政府在国防上的年支出，大约每十分钟就等于该领域全年预算。
理由一：单一主导资助者
AI安全领域的大部分慈善资金，超过一半，来自一个地方：Facebook联合创始人Dustin Moskovitz和Cari Tuna的基金会Good Ventures，通过Open Philanthropy进行捐赠。这种集中带来了超出脆弱性的后果。当某个组织不在Good Ventures资助范围内时，其余捐赠池如此浅薄，以至于根据该领域前资助者的一项估算，其面临的资助门槛比其他组织高1.5至3倍。而当主导资助者转变优先级时，整个领域也会随之转变：Open Philanthropy的技术安全资助从2022年峰值超过6000万美元降至2024年列出的2800万美元，其中大部分用于评估。没有其他资助者填补这一缺口。在健康的领域中，单一捐赠者的董事会会议不应重塑研究议程。这还不是一个健康的领域。
理由二：没有支持群体
癌症研究每年筹集数百亿美元，因为每个人都认识患者。气候慈善每年超过100亿美元，因为损害可见且运动已有五十年历史。AI风险没有患者、没有被淹城镇、没有悲痛家庭，它警告的危害尚未发生，如果该领域成功，它将永远不会发生。预防从未实现的风险接近最难的筹款推销。最相信这一论点的人往往是研究者而非亿万富翁，而公众对AI的担忧（民调一致发现真实且在增长）没有明显的捐赠渠道与之相连。
理由三：实验室吸收了该领域
大量有资格从事对齐研究的人在Anthropic、OpenAI或Google DeepMind工作，其薪酬水平非营利组织无法企及。这使资金图景扭曲了两次。它让安全工作看起来比实际更有资源，因为最显眼的安全工作发生在预算庞大的公司内部。它还将该领域的大部分研究议程与商业判断绑定：实验室的安全支出是真实的，但这是实验室自行选择、在实验室优先的问题上进行的支出，可由实验室自行决定是否发表，并在优先级变化时取消，正如OpenAI在2024年解散其Superalignment团队所展示的那样，尽管该团队在一年前公开承诺投入20%的算力。独立安全研究的存在正是为了提出实验室不愿回答的问题，而独立性正是资金大规模未能支持的。
理由四：资金避开政治
图表中最小的那块（倡导占5%）可能影响最大。US慈善法限制了501(c)(3)基金会能资助的游说额度，而多数机构资助方远超法律要求地谨慎，担心政治化其更广泛的资助活动。结果是这个领域每年花费1.6亿美元用于研究与评估，却只拿出约1000万美元确保掌权者采取行动。直接从事政治工作的组织（PauseAI、ControlAI、生命未来研究所的游说部门）预算之低，会让一场中等规模的国会竞选都感到尴尬。不管人们如何看待它们的策略，这种不对称都十分鲜明：每家最大的科技公司仅在联邦游说上的支出，就超过整个安全领域在倡导上的总投入。
什么会改变这一点
该领域的算术意味着少量资金就能推动它。一位新捐赠者每年捐出500万美元，将立即跻身全球AI安全倡导最大资助者之列。一个政府将其国防预算的千分之一用于安全研究，将大致使全球总额翻倍。这是一个罕见的领域，瓶颈不是吸收能力（资助者自己公开表示无法覆盖他们看到的机会），而仅仅是写支票的人数。如何有意识地推动改变这一状况（该领域如何达到每年十亿美元，以及资金从何而来）是 第2部分.
金钱是一条杠杆；政策是另一条，且无需个人财富。关于前沿 AI 约束性国际规则的论述见 我们的计划, 而为它贡献力量的最快方式只需在 采取行动 页面。本文中资金数据的交互版存在于我们的 资源页面, ，附上来源，我们会随新披露持续更新两者。
资金从何而来、流向何处，以及数字为何始终如此之小。