Isang dekada nang nagbabala ang technical community. Hindi nito napabagal ang mga lab. Ang nawawala ngayon ay political will, legal frameworks, at isang koalisyon na sapat na malakas para ihinto ang karera patungo sa mga system na walang makokontrol.
Ang Nakada Foundation to Save Humanity ay itinatag sa isang premise: na ang pinakamalalaking desisyon sa kasaysayan ng sangkatauhan, mga desisyon na magtutukoy kung mabubuhay ang ating species, ay hindi dapat gawin ng iilang engineer sa limang korporasyon sa isang bansa.
Hindi kami nakahanay sa AI safety research establishment, na kadalasang pinopondohan ng parehong mga laboratoryo na nagmamadaling buuin ang mga sistemang kanilang pinag-aaralan. Naniniwala kami na ang incentive structure ng AI safety field ay lubos na kompromiso, at ang solusyon ay hindi manggagaling mula sa loob ng industriya.
Karamihan sa pera at prestihiyo ay napupunta pa rin sa paggawang ligtas ng karera, hindi sa pagtatapos ng karera patungo sa ASI. Ang aming gawain ang kabilang trabaho: pigilan ang ASI sa ilalim ng binding law. Hindi mapipigilan ang superintelligence.
Transformative at kapaki-pakinabang ang narrow AI. Maaari nitong gamutin ang mga sakit, pabilisin ang pagtuklas, at palawakin ang potensyal ng tao. Hindi kami laban sa AI. Laban kami sa pagbuo ng isang uri ng katalinuhan na hindi natin makokontrol, hindi maia-align, at hindi mapipigilan.
Kailangan ng external pressure ang pagbabago: mula sa mga gobyerno, sa batas, sa kultura, at sa mga taong nauunawaang hindi market outcome ang nakataya kundi ang kaligtasan ng lahi ng tao.
Mayroon kaming modelo para dito: ang Nuclear Non-Proliferation Treaty.
Hindi tulad ng mga organisasyong nagsasaliksik sa AI safety, hindi kami nagbubuo, nagsasanay, o nag-eeksperimento sa mga AI system. Hindi kami tumatanggap ng pondo na lilikha ng tunggalian sa pagitan ng aming misyon at mensahe.
Hindi tulad ng AI ethics organizations, eksklusibo kaming nakatuon sa existential risk: hindi sa bias, fairness, o misuse ng kasalukuyang AI. Mahalaga ang mga isyung ito. Hindi ito ang parehong isyu ng extinction.
Nagpapatakbo kami bilang kampanyang pampublikong edukasyon na philanthropic, hindi bilang akademikong institusyon. Layunin naming baguhin ang pag-unawa ng publiko, bumuo ng mga koalisyon, at gawing posible ang tunay na pagpigil sa superintelligence, tulad ng bawat matagumpay na kilusang pampubliko sa kasaysayan.
Madaling inuuri tayo ng mga tao sa ilalim ng "pause": ilang taon ng paghinga para magawa ng mga lab na ligtas ang superintelligence at pagkatapos ay magpatuloy. Hindi iyon ang hinihingi. Nais nating pigilan ng mga gobyerno ang artificial superintelligence nang permanente. Hindi makokontrol ng tao ang superintelligence.
Mahalaga ang pagkakaiba. Ang pause ay nagpapalagay ng problema sa iskedyul: pabagalin, hayaang maabutan ng safety, saka magpatuloy. Walang sinuman ang may napatunayang paraan para kontrolin ang sistemang higit na may kakayahan kaysa sa mga gumawa nito. Hindi sa maliit na sukat. Hindi sa malaki. Walang isang napatunayang paraan. Ang mga taong nagmamadaling buuin ito ay sinasabi ito sa publiko.
Kung mananatiling totoo ito, ang pagbuo ng superintelligence sa ilalim ng anumang bagay na katulad ng mga pamamaraan ngayon ay hindi gumagawa ng isang risky technology na maingat na pamamahalaan. Gumagawa ito ng isang resulta na walang pagbawi. Ito ang argumentong pinakadiretsong ipinahayag sa 2025 book Kung May Magtatayo Nito, Lahat Ay Mamamatay, ni Eliezer Yudkowsky at Nate Soares. Hindi mo kailangang tanggapin ang bawat claim dito para makita ang asymmetry: isang pagkakataon lang ang makukuha namin, at walang makakapagsabi kung paano ito gagawin nang tama.
Kaya ang kasunduan na aming itinaguyod ay hindi isang paraan para gawing ligtas ang development ng superintelligence. Walang alam na paraan para gawin iyon. Ang treaty ang off-ramp mula sa karera: isang permanenteng desisyon na hindi kunin ang sugal. Hindi makokontrol ng tao ang superintelligence.
Ito ang dahilan kung bakit tayo nagkakaiba sa karamihan ng AI safety field. Malaking bahagi ng "safety" work ay tahimik na nag-aakala na itatayo ang mga system at sinusubukan lang na babaan ang tsansang papatayin nila tayo. Sa tingin namin, binabaliktad nito ang problema. Kapag hindi mo makontrol ang downside, at ang downside ay lahat, ang responsableng hakbang ay itigil ang pagbuo sa mapanganib na bagay. Hindi mapapangasiwaan ang superintelligence, kaya’t hindi ang sagot ang mas maingat na pagbuo. Nagpapatuloy ang narrow AI (ang uri na nagpapagaling ng sakit at nagpapabilis ng pagtuklas). Ang narrow class ng mga sistemang lalampas sa katalinuhan ng tao sa lahat ng domain ang hindi dapat itayo.
Ipaglaban ang mga binding framework na nagbabawal sa superintelligent AI systems, hindi boluntaryong mga patnubay. Ang gawain ay plain-language explainers, social presence, at creative media na nagbibigay sa publiko ng iisang bokabularyo para sa pag-iwas.
Nakatuon ang mga argumento sa tatlong chokepoint na magagamit ng mga gobyerno: compute infrastructure, kung saan kontrolado ng maliit na bilang ng chip manufacturers ang hardware na kailangan para i-train ang frontier models; frontier AI labs, kung saan inuuna ng commercial incentives ang safety commitments; at international bodies, kung saan dapat itayo ang treaty frameworks bago maging irreversible ang capability races. Hindi kami nagpapatakbo ng direct lobbying shop sa Washington o iba pang capitals.
Pakikipag-ugnayan sa pinakamalalaking philanthropic foundations sa mundo, mga pinuno ng gobyerno, Nobel laureates, celebrities, at cultural figures para palakasin ang mensahe, pondohan ang layunin, at ilipat ang Overton window.
Ang kasaysayan ng effective advocacy ay ang kasaysayan ng unlikely coalitions. Pinag-isa ng civil rights movement ang clergy, labor unions, at mga abogado. Dinala ng nuclear disarmament movement ang mga physicist at makata. Binubuo natin ang koalisyon na gagawing AI safety ang defining political issue ng dekadang ito.
Ang pag-komisyon ng sining, pelikula, journalism, at media na nagpaparamdam na totoo at hindi maikakaila ang panganib. Nabigo ang climate movement sa loob ng mga dekada dahil abstract at malayo ang banta. Ang AI risk ay hindi ganoon, ngunit kailangan itong gawing pakiramdam na agaran.
Dapat gawing prestihiyoso, apurahin, at imposibleng balewalain ang kaligtasan. Nakikipagtulungan kami sa mga filmmaker, nobelista, game designer, at mamamahayag para buuin ang cultural infrastructure ng isang kilusang tatagal, kasama ang economic case sa Bakit Naniniwala ang isang Capitalist sa Regulasyon ng ASI.
Ito ay mga konkretong hakbang na magagawa ng mga gobyerno gamit ang mga kasangkapang umiiral na. Bawat isa ay may precedent na may pangalan at taon.
Mangailangan ng lisensya mula sa gobyerno para sa mga training run na lumalampas sa tinukoy na threshold ng compute (kasalukuyang iminungkahi sa 1026 floating-point operations). Mandate independent safety audits before deployment. Create a verified, international registry of all frontier model training runs. Ang compute ang bottleneck: kontrolado ng maliit na bilang ng mga manufacturer, pangunahin ang TSMC, NVIDIA, at ASML, ang hardware na kailangan para makabuo ng frontier AI systems, kaya medyo diretso at napapatunayan ang licensing sa compute layer.
Tanging kisame lang ang pipigil kung susubaybayan mismo ang hardware. Maaaring irehistro ang advanced GPUs na kailangan ng mga training runs na ito at, unti-unti, itinayo para i-verify on-chip kung nasaan sila at kung ano ang ginagawa nila, tamper-evident location attestation at usage limits na nakatakda sa silicon, kaya ang legal cap ay nagiging physical one. Ito rin ang sagot sa offshoring: nang walang hardware-level tracking, ang isang lab na tumama sa ceiling sa bahay ay simpleng ililipat ang training run nito sa isang permissive jurisdiction. Ang pagpapalawak ng export controls at chip-level verification sa buong supply chain ang nagpapanatili na hindi tahimik na umaagos ang compute sa kung saan man pinakamahina ang mga patakaran.
Isang binding multilateral agreement na magbabawal sa pagbuo ng AI systems na lumalampas sa isang tinukoy na general capability threshold, ginagaya ang Nuclear Non-Proliferation Treaty. Walang bansa ang dapat exempted. Hindi ito moratorium na itataas ayon sa iskedyul; ito ay isang permanenteng pagbabawal. Hindi kayang kontrolin ng tao ang superintelligence. Imperpekto ang NPT, pero hindi pa ito nagpapahintulot ng paggamit ng nuclear weapons sa loob ng walumpung taon. Ang karaniwang tutol ("magdedefect ang ibang bansa") ay eksaktong ang argumentong ginawa laban sa nuclear non-proliferation. Ang sagot ay hindi ang magkarera. Ang sagot ay isang tratado na may verification mechanisms.
Isang intergovernmental body na may inspection rights, katulad ng International Atomic Energy Agency, na binigyan ng kapangyarihang i-verify ang pagsunod sa compute limits at mag-utos ng safe development practices sa frontier AI laboratories. Ang IAEA ay nilikha sa loob ng tatlong taon mula sa Nuclear Non-Proliferation Treaty. Isang Global AI Monitoring Agency ay maaaring makamit sa parehong timeline if the political will exists. Its mandate would include mandatory reporting of training runs, on-site inspections of major AI laboratories, and the authority to issue binding recommendations to member states.
Totoo lang ang treaty kung mayroong pagpapatupad. Ang pagkampanya para dito nang hindi binabanggit ang batas ay panlilinlang. Totoo ang mga gastos. Ngunit kung ihahambing sa binibili nito, maliit pa rin ang mga ito.
Ang makabuluhang enforcement ay nangangahulugang on-site inspection ng data centers, mandatory declaration ng malalaking training run, at hardware na nag-uulat ng sarili nitong lokasyon at paggamit. Ito ay panghihimasok sa commercial secrecy at, kung hindi maingat na hawakan, sa privacy. Tinatanggap ng nuclear inspection regime ang parehong panghihimasok dahil mas masahol ang alternatibo. Ang safeguard ay ang monitoring ay international at transparent, hindi pag-aari ng anumang solong estado o kumpanya.
Ang pagpigil sa superintelligence ay nangangahulugang pagpapaliban sa anumang benepisyo na maaaring maibigay balang araw ng isang kontroladong bersyon, at paghiling sa mga kumpanya at bansa na iwanan ang pambihirang panandaliang kita. Ito ay isang tunay na gastos. Ngunit ang isang hindi makontrol na superintelligence ay hindi naghahatid ng mga benepisyong iyon sa sinuman, ang isang sistema na hindi mo ma-align ay hindi isang asset na mapapanatili mo. Ang pagpapaliban sa isang premyo na walang makakakuha nang ligtas ay hindi gaanong sakripisyo.
Ang mga patakaran na walang kahihinatnan ay mga mungkahi lamang. Gumagana ang pagpapatupad kapag may bigat ang mga paglabag: pagtanggi sa pag-export, parusang pinansyal, pagbubukod sa supply chain ng compute, at (tulad ng fissile material) isang pinagsamang pag-unawa na ang isang rogue project na bumuo ng superintelligence ay emergency ng lahat, hindi pribado. Mahirap at mamahaling pampulitika ang pagbuo ng ganoong gilid. Gayunpaman, kailangan ito ng bawat seryosong arms-control regime.
May hangganan ang gastos sa enforcement. Wala ang gastos ng walang enforcement.
Totoo at matitiis ang bawat pagtutol sa enforcement (na ito ay intrusive, mahal, at naghihigpit sa industriya). Ang hindi matitiis na kinalabasan ay ang mismong bagay na umiiral ang enforcement para pigilan. Nagbabayad kami ng bounded, known costs para maalis ang unbounded, irreversible one. Ito ang parehong trade na ginawa na ng sibilisasyon para sa mga sandatang nuklear, kemikal, at biyolohikal.
Ikaw ang nasasakupan na iyan. Tumulong bumuo ng puwersang pampulitika na nagpapahintulot nito.