この記事は、なぜこの分野が飢えているのかを診断する。 第2部 人工知能安全が年間10億ドル規模に到達する方法 それがこの予算の5倍に達する可能性と、資金源について概説している。
Ask people to guess how much the world spends making sure 人工超知能 goes well, and most land somewhere in the billions. The scientists building it keep warning it could be dangerous; surely the response is funded like a serious problem. It is not. Add up every philanthropic grant, every government safety program, and every dollar the frontier labs spend on their own safety teams, and the total comes to something like $190 million a year. Global investment in AI capabilities passed $250 billion a year some time ago. For every thousand dollars spent making AI more powerful, less than one dollar is spent making it safe.
1億9000万ドルという数字は精査に値する。この分野の見積もりは本質的に不確実だからだ。公表されている総額は、政府機関、ラボ内部のチーム、学術研究を含めるかどうかで、年間約1億1000万ドルから2億5000万ドルの幅がある。以下は、公的助成データベースと予算開示に基づく私たち自身の集計だ。
資金の出所
| 出典 | 推定 年間 |
|---|---|
| オープン・フィランソロピーGood Venturesの支援による。2014年以降、AI安全保障分野に3億3,600万ドル超を拠出。最近では年4,600万〜5,000万ドル規模。 | 5000万ドル |
| 最先端ラボの安全チームAnthropic、OpenAI、Google DeepMindにおける内部安全研究、推定値、非公開 | 3500万ドル |
| Survival & Flourishing Fund主にJaan Tallinnの支援によるもので、2024年のラウンドだけで1900万ドル以上を割り当てた | 3000万ドル |
| UK 政府AI Security Institute plus ARIAの£59M Safeguarded AI program | 3000万ドル |
| その他のフィランソロピーと個人Longview Philanthropy、Long-Term Future Fund、小規模財団、個人ドナー | 2500万ドル |
| US、EUおよびその他の政府NISTのCAISI、NSFの安全プログラム、EU AIオフィス | 2000万ドル |
| 合計 | 約1億9000万ドル |
二つの点が目立つ。第一に、この分野は多様化していない。一つの民間財団が全資金の4分の1以上、慈善資金の半分以上を供給している。第二に、政府の割合は最近のもので不安定であり、ほとんどが2023年以降のものであり、UKとUSの両研究所は設立から2年以内に名称から「安全」という言葉を外した。
資金の行き先
目的別の支出内訳を公表している資金提供者は存在しないため、私たちが助成金を自ら分類した。各資金源について、既知の助成金とプログラムをカテゴリに振り分け、資金提供者間で合計した。Open Philanthropyの公開助成金データベースによると、2024年の技術安全助成金は約2800万ドルで、その68パーセントが評価とベンチマークに充てられた。UKのAI Security Instituteは、任務上評価機関であり、ARIAのSafeguarded AIプログラムは技術研究である。Survival and Flourishing Fundの被助成者は技術業務（機械知能研究所）、評価（METR、Apollo Research）、提言（CAIS Action Fund）に及ぶ。LongviewのAIプログラムは統治寄りである。研究所内部の予算はほぼすべて技術的である。その結果：:
| 何に使われるのか | 推定 年間 | 共有 |
|---|---|---|
| 技術的安全性研究アライメント、解釈可能性、ロバストネス、ラボチーム、ARIA、NSF、アカデミア、非営利団体 | 8000万ドル | 42% |
| モデル評価とベンチマーク危険能力テスト、UK AISI、METR、Apollo、Open Philの評価助成金 | 5000万ドル | 26% |
| ガバナンスと政策研究条約の設計、安全基準、計算ガバナンス | 3000万ドル | 16% |
| 分野構築と人材フェローシップ、研究トレーニングプログラム、キャリアパイプライン | 2000万ドル | 11% |
| 擁護と公共関与キャンペーン、オープンレター、草の根組織化 | 1000万ドル | 5% |
カテゴリ合計は推定の積み重ねであり、多くの助成金が境界をまたいでいる。評価を行う非営利団体は技術的作業を行い、ガバナンス研究所はフェローシップを実施する。しかし、どのような合理的な再分類をしても形は頑健だ。技術研究と評価が全体の約三分の二を占め、政府や企業の行動を実際に変える活動であるアドボカシーは二十分の一程度だ。
『アバター：ウェイ・オブ・ウォーター』の制作費は、世界がAI安全保障に1年で費やす総額を上回る。最先端の訓練用クラスタ1つで、分野全体の10年分の予算を超える。米連邦政府は、分野の年間予算総額を防衛費として約10分ごとに支出している。
理由その一：単一の支配的な資金提供者
AI安全保障分野の慈善資金の大部分、半分以上は一つの源から来ています。Facebook共同創業者ダスティン・モスコビッツとキャリ・トゥナの財団Good Venturesで、Open Philanthropyを通じて提供されています。この集中は脆弱性以上の結果をもたらします。組織がGood Venturesの資金対象外になると、残りの寄付者プールは浅く、元グラントメーカーの推定では、他のすべての人より1.5〜3倍高い資金ハードルに直面します。また、主要な資金提供者が優先順位を変えると、分野全体がそれに従います。Open Philanthropyの技術的安全保障助成は2022年のピーク6000万ドル超から2024年の掲載助成2800万ドルに減少し、残りの大半は評価に向けられました。他の資金提供者はその差を埋めませんでした。健全な分野では、単一の寄付者の理事会が研究アジェンダを再形成することはありません。この分野はまだ健全ではありません。
理由2: 支持基盤なし
がん研究が毎年何百億ドルも集まるのは、誰もが知り合いを患っているからだ。気候変動のフィランソロピーが年100億ドルを超えたのは、被害が目に見え、運動が50年続いているからだ。AIリスクには患者も、浸水した町も、遺族もいない。警告される危害はまだ起きていないし、分野が成功すれば永遠に起きない。未曾有のリスクの予防は、資金調達の訴求として最も困難に近い。主張に最も納得しているのは研究者であって億万長者ではなく、世論調査で一貫して現実的かつ増大しているとされる一般市民のAI懸念には、明らかな寄付窓口が付いていない。
理由3：研究室が分野を吸収した
アライメント研究に適した資格を持つ人々の多くは、Anthropic、OpenAI、GoogleのDeepMindで働き、非営利団体が到底及ばない報酬水準です。これにより資金状況は二重に歪みます。最も目立つ安全保障活動が巨額の予算を持つ企業内部で行われるため、安全保障分野が実際以上に潤沢に見えます。また、分野の研究アジェンダの多くが商業的判断に結びつきます。ラボの安全保障支出は実在しますが、ラボが選択した支出であり、ラボが優先する問いであり、ラボの裁量で公開可能であり、優先順位が変われば中止可能です。OpenAIが2024年にSuperalignmentチームを解散したように、1年前に計算資源の20パーセントを充てることを公約したにもかかわらずです。独立した安全保障研究は、ラボが問わない問いを問うために存在し、独立性こそが資金が大規模に支えないものです。
理由4：資金は政治を避ける
グラフの中で最も小さな部分（提言のための5パーセント）が、実は最も影響力が大きいかもしれない。USの慈善法は501(c)(3)財団がロビー活動に充てられる金額を制限しており、大半の機関助成者は法的要件を大幅に上回る慎重さで、政治化を恐れて助成全体を控えめにしている。その結果、研究や評価に年間1億6000万ドルを費やす一方で、権力者にそれを実行させる活動には約1000万ドルしか充てられていない。直接的な政治活動を行う組織（PauseAI、ControlAI、Future of Life Instituteのキャンペーン部門）は、中規模の連邦議会選挙区の予算にも及ばない規模で運営されている。彼らの戦術をどう評価するにせよ、非対称性は明白だ。主要なテクノロジー企業は連邦ロビー活動だけで、安全保障分野全体の提言予算を上回っている。
これを変えるもの
この分野の算術は、少額でも大きな影響を与えることを意味する。新規ドナーが年500万ドルを拠出すれば、地球上で最大級のAI安全擁護資金提供者となる。政府が国防予算の0.1％を安全研究に充てるだけで、世界全体の総額がほぼ倍増する。これは、吸収能力ではなく小切手を書く人の数がボトルネックになっている稀有な分野である（資金提供者自身が、公に「見えている機会をカバーしきれない」と述べている）。意図的な取り組みでこれを変えるとしたら（この分野が年10億ドル規模に到達し、資金源をどこに求めるか）は、 第2部.
金は一つのレバーであり、政策はもう一つのレバーで、個人の富を必要としない。先端AIに関する拘束力のある国際ルールの事例は に詳述されている。 私たちの計画, そしてそれに自分の重みを加える最速の方法は、 で5分かかる 行動を起こす ページ。この記事の資金データのインタラクティブ版は、当サイトの リソースページ, 出典を付けて、新しい開示が出たら両方を更新していく。
資金の出所、使途、そして金額が小さい理由.