Tinutuklas ng pirasong ito kung bakit gutom ang larangan. Part 2, Paano umabot ang AI Safety sa isang bilyong dolyar kada taon ipinapaliwanag kung paano ito maaaring umabot sa limang beses ng budget na ito, at saan manggagaling ang pera.
Kapag tinanong ang mga tao kung magkano ang ginagastos ng mundo para matiyak na magiging maayos ang ASI, karamihan ay nagsasabi ng bilyun-bilyon. Babala ng mga siyentipikong gumagawa nito na maaaring mapanganib ito; tiyak na pinopondohan ang tugon na parang seryosong problema. Hindi. Kapag pinagsama ang lahat ng bigay ng mga pilantropo, bawat programa ng gobyerno para sa kaligtasan, at bawat dolyar na ginagastos ng mga frontier lab sa sarili nilang mga pangkat pangkaligtasan, ang kabuuan ay humigit-kumulang $190 milyon lamang bawat taon. Ang pandaigdigang pamumuhunan sa kakayahan ng AI ay lumampas na sa $250 bilyon bawat taon noon pa. Sa bawat libong dolyar na ginagastos para gawing mas makapangyarihan ang AI, wala pang isang dolyar ang ginagastos para gawing ligtas ito.
Dapat suriin ang $190 million na bilang, dahil talagang magulo ang mga pagtatantya sa larangang ito. Ang nai-publish na kabuuan ay mula sa humigit-kumulang $110 milyon hanggang $250 milyon bawat taon depende kung kasama mo ang mga government institute, internal teams ng lab, at akademikong gawain. Ang sumusunod ay aming sariling accounting, binuo mula sa public grant databases at budget disclosures, kada funder.
Saan nanggagaling ang pera
| Pinagmulan | Tinatayang kada taon |
|---|---|
| Open PhilanthropySinusuportahan ng Good Ventures; mahigit $336M sa AI safety mula noong 2014, humigit-kumulang $46-50M kada taon kamakailan | $50M |
| Mga safety team ng frontier labInternal safety research sa Anthropic, OpenAI, Google DeepMind, tinatayang hindi isiniwalat | $35M |
| Survival & Flourishing FundPangunahing sinusuportahan ni Jaan Tallinn; ang round nito noong 2024 lamang ay naglaan ng mahigit $19M | $30M |
| Pamahalaang UKAI Security Institute kasama ang £59M Safeguarded AI program ng ARIA | $30M |
| Iba pang philanthropy at mga indibidwalLongview Philanthropy, ang Long-Term Future Fund, mas maliliit na pundasyon, indibidwal na mga donor | $25M |
| US, EU at iba pang pamahalaanNIST's CAISI, NSF safety programs, ang EU AI Office | $20M |
| Kabuuan | ~$190M |
Dalawang bagay ang kapansin-pansin. Una, hindi diversified field ito. Isang pribadong foundation ang nagbibigay ng higit sa isang-kapat ng lahat, at higit sa kalahati ng lahat ng philanthropic money. Pangalawa, kamakailan at marupok pa ang bahagi ng gobyerno, karamihan mula pa noong 2023, at parehong inalis ng UK at US institutes ang salitang "safety" sa pangalan nila sa loob ng dalawang taon mula nang itatag.
Saan napupunta ang pera
Walang funder ang naglalathala ng spending breakdown ayon sa layunin, kaya kami mismo ang nag-classify ng mga grants: kinuha namin ang bawat source sa itaas, inuri ang mga kilalang grants at programs sa mga kategorya, at sinuma sa lahat ng funders. Ipinapakita ng public grant database ng Open Philanthropy ang humigit-kumulang $28 milyon sa technical safety grants para sa 2024, kung saan 68 porsyento ang napunta sa evaluations at benchmarking. Ang UK's AI Security Institute ay, ayon sa mandate, isang evaluations body, habang ang ARIA's Safeguarded AI program ay technical research. Ang mga grantees ng Survival and Flourishing Fund ay sumasaklaw sa technical work (MIRI), evaluations (METR, Apollo Research), at advocacy (ang CAIS Action Fund). Ang AI program ng Longview ay nakatuon sa governance. Ang lab-internal budgets ay halos lahat technical. Ang resulta:
| Para saan ito nagbabayad | Tinatayang kada taon | Ibahagi |
|---|---|---|
| Pananaliksik sa kaligtasang teknikalPagkakahanay, interpretabilidad, katatagan, mga pangkat ng lab, ARIA, NSF, akademya, mga nonprofit | $80M | 42% |
| Mga evaluation at benchmarking ng mga modelPagsusuri sa dangerous-capability, UK AISI, METR, Apollo, Open Phil's evals grants | $50M | 26% |
| Pananaliksik sa pamamahala at patakaranDisenyo ng kasunduan, pamantayan sa kaligtasan, pamamahala sa compute | $30M | 16% |
| Pagbuo ng larangan & talentoMga fellowship, mga programa sa pagsasanay sa pananaliksik, mga career pipeline | $20M | 11% |
| Adbokasiya at pakikilahok ng publikoMga kampanya, open letters, grassroots organizing | $10M | 5% |
Ang category totals ay estimates na binuo sa estimates, at maraming grants ang nasa pagitan ng mga linya, isang evaluations nonprofit ang gumagawa ng technical work; isang governance institute ang nagpapatakbo ng fellowships. Pero ang hugis ay matatag sa anumang makatwirang reclassification: ang technical research at evaluations ay sumisipsip ng halos dalawang-katlo ng lahat, at ang advocacy (ang gawain ng aktwal na pagbabago sa ginagawa ng mga gobyerno at kumpanya) ay nakakakuha ng isang ikadalawampu.
Ang Avatar: The Way of Water ay nagastos nang higit sa buong taunang paggastos ng mundo sa AI safety. Ang isang frontier training cluster ay nagkakahalaga nang higit sa isang dekada ng kabuuang budget ng field. Ang US federal government ay gumagastos ng taunang kabuuan ng field sa defense nang halos bawat sampung minuto.
Unang dahilan: isang dominanteng tagapondo
Karamihan sa pera ng philanthropic AI safety, higit sa kalahati, ay nagmumula sa isang lugar: Good Ventures, ang foundation ng Facebook co-founder Dustin Moskovitz at Cari Tuna, na nagbibigay sa pamamagitan ng Open Philanthropy. May mga kahihinatnan ang konsentrasyong ito lampas sa kahinaan. Kapag ang isang organisasyon ay nasa labas ng kung ano ang popondohan ng Good Ventures, ang natitirang pool ng donor ay napakababaw kaya, ayon sa isang pagtatantya mula sa dating grantmaker sa larangan, ito ay humaharap sa funding bar na 1.5 hanggang 3 beses na mas mataas kaysa sa iba. At kapag nagbago ang priyoridad ng dominanteng funder, sumasabay ang buong larangan: bumaba ang technical safety grantmaking ng Open Philanthropy mula sa peak noong 2022 na higit sa $60 milyon hanggang $28 milyon sa nakalistang 2024 grants, at karamihan sa natitira ay napunta sa evaluations. Walang ibang funder ang pumasok upang punan ang pagkakaiba. Sa isang malusog na larangan, walang board meeting ng isang donor ang makakabago ng research agenda. Hindi pa ito isang malusog na larangan.
Ikalawang dahilan: walang grupo ng suporta
Tumaas ng sampu-sampung bilyong dolyar taun-taon ang cancer research dahil kilala ng lahat ang isang tao. Lumampas ng $10 bilyon taun-taon ang climate philanthropy dahil nakikita ang pinsala at limampung taon na ang kilusan. Walang pasyente, walang binahang bayan, walang nagdadalamhating pamilya ang AI risk, ang pinsalang binabalaan nito ay hindi pa nangyari, at kung magtagumpay ang larangan, hindi na mangyayari. Ang pag-iwas sa isang panganib na hindi pa nangyari ay isa sa pinakamahirap na fundraising pitch. Ang mga taong lubos na kumbinsido sa argumento ay kadalasang mga mananaliksik, hindi mga bilyonaryo, at ang pag-aalala ng pangkalahatang publiko tungkol sa AI (na patuloy na nakikita ng mga poll na totoo at lumalago) ay walang malinaw na donation box na nakakabit dito.
Dahilan tatlo: sinipsip ng mga lab ang larangan
Isang malaking bahagi ng mga taong kwalipikadong gumawa ng alignment research ay nagtatrabaho sa Anthropic, OpenAI, o Google DeepMind, sa antas ng kompensasyon na hindi kayang abutin ng anumang nonprofit. Dalawang beses nitong dinidistort ang larawan ng funding. Ginagawa nitong mukhang mas mahusay ang resourced ng safety dahil ang pinakakitang safety work ay nangyayari sa loob ng mga kumpanya na may napakalaking badyet. At itinatali nito ang malaking bahagi ng research agenda ng larangan sa komersyal na paghuhusga: totoong ang safety spending ng isang lab, ngunit ito ay spending na pinipili ng lab, sa mga tanong na priyoridad ng lab, na maaaring i-publish sa pagpapasya ng lab, at maaaring kanselahin kapag nagbago ang priyoridad, gaya ng ipinakita ng OpenAI nang binuwag nito ang Superalignment team noong 2024, isang taon pagkatapos hayagang maglaan ng 20 porsyento ng compute nito sa problema. Ang independent safety research ay umiiral nang eksakto upang itanong ang mga tanong na hindi itatanong ng mga lab, at ang independence ay eksakto ang hindi pinopondohan ng pera sa sukat.
Dahilan apat: ang pera ay umiiwas sa pulitika
Ang pinakamaliit na bahagi ng chart (5 porsyento para sa advocacy) ang maaaring pinakamahalaga. Nililimitahan ng US charity law kung gaano karaming lobbying ang puwedeng pondohan ng isang 501(c)(3) foundation, at karamihan sa mga institutional funder ay mas maingat pa sa legal na requirement, dahil natatakot silang mapulitika ang mas malawak na grantmaking. Ang resulta ay isang larangan na gumagastos ng $160 milyon kada taon sa research at evaluations, at humigit-kumulang $10 milyon lang para masiguro na kumikilos ang mga may kapangyarihan. Ang mga organisasyong gumagawa ng direktang political work (PauseAI, ControlAI, ang campaign arm ng Future of Life Institute) ay nagpapatakbo sa mga budget na mapapahiya pa ang isang mid-size congressional race. Kahit ano pa ang iniisip mo tungkol sa kanilang taktika, malinaw ang asymmetry: bawat malaking kumpanya ng teknolohiya ay gumagastos nang higit sa federal lobbying kaysa sa buong safety field sa advocacy.
Ano ang magbabago nito
Ang arithmetic ng larangan ay nangangahulugang maliit na halaga ay nakakagalaw nito. Ang bagong donor na nagbibigay ng $5 million kada taon ay agad na magiging isa sa pinakamalaking funders ng AI safety advocacy sa buong mundo. Ang gobyernong naglalaan ng isang-kasampu ng isang porsyento ng defense budget nito sa safety research ay halos doblehin ang global total. Ito ay isang bihirang cause kung saan ang bottleneck ay hindi absorptive capacity (sabi mismo ng mga funders na hindi nila masakop ang lahat ng oportunidad na nakikita nila) kundi ang bilang ng mga taong sumusulat ng tseke. Kung paano magiging hitsura ang isang sadyang pagtulak para baguhin iyon (paano maabot ng larangan ang isang bilyong dolyar kada taon, at saan manggagaling ang pera) ay paksa ng Bahagi 2.
Ang pera ay isang pingga; ang patakaran naman ang isa pa, at hindi nito kailangan ang personal na yaman. Inilatag sa aming plano, at ang pinakamabilis na paraan para maidagdag mo ang iyong suporta rito ay limang minuto lang sa kumilos pahina. Ang interaktibong bersyon ng datos sa pagpopondo sa artikulong ito ay nasa aming pahina ng resources, ", kasama ang mga pinagmulan, at patuloy naming ia-update ang dalawa habang lumalabas ang mga bagong pagsisiwalat.
Narito kung saan nanggagaling ang pera, kung saan ito napupunta, at bakit nananatiling maliit ang numero.