"Superintelligence Strategy" ay dumating noong Marso 2025 na may listahan ng mga may-akda na idinisenyo para seryosohin sa Washington: Dan Hendrycks, director ng Center for AI Safety; Eric Schmidt, dating CEO ng Google; at Alexandr Wang, founder ng Scale AI. Layunin nito na ilabas ang superintelligence mula sa research literature patungo sa wika ng national security, at sa pamamagitan ng sukatan na iyon ay nagtagumpay ito. Sa loob ng ilang linggo, pinagdebatehan na ito ng mga arms control scholars, ginawa ang wargame sa mga think tank, at binanggit sa congressional testimony.
Ang talinghaga ang pinakakawili-wili rito, at kasabay nito ang problema.
Sa gitna nito ay isang solong acronym, pinili nang may pag-iingat. MAIM, para sa Mutual Assured AI Malfunction, ay sadyang echo ng MAD, at dala nito ang pangunahing pahayag ng papel: na ang nakakatakot na standoff na pumigil sa mga nuclear powers na magwasak sa isa't isa ay may katapat sa AI, isang bagay na umiiral na kahit hindi ito kinikilala ng sinuman.
Sa tingin namin may totoong mahalagang bagay na tama ang papel, at sa tingin din namin hindi kayang pasanin ng central mechanism nito ang bigat na inilagay dito. Mahalaga ang dalawang bahagi.
Ang standoff na sinasabi ng papel na umiiral na
Ganito ang takbo ng argumento. Ipagpalagay na mukhang malapit nang makamit ng isang estado ang decisive breakthrough, isang system na magbibigay, sa framing ng papel, ng superweapon at command of the future. Walang karibal ang kayang hayaang mangyari iyon. Isang mundo kung saan kontrolado ng isang capital ang superintelligence ay, para sa bawat ibang capital, hindi matatanggap sa paraang hindi matatanggap ang first-strike advantage noong Cold War.
Pero hindi tulad ng naka-deploy na nuclear arsenal, ang isang AI project na nasa progreso ay mahina. Nasa datacenters ito na may alam na coordinates, umaasa sa power grids, at nakadepende sa training runs na tumatagal ng ilang buwan na maaaring tahimik na sirain ng isang mahusay na paglusob. Kaya may mga opsyon ang isang nagbabantang karibal na mas mababa sa digmaan, at may hagdanan ng mga ito: espionage, covert cyberattacks na nagpapababa sa training run o nagpapasama sa data, sabotage ng nakapaligid na imprastraktura, at sa sukdulang antas, pisikal na pag-atake sa mismong mga pasilidad.
Ayon sa papel, ito ay isang paglalarawan na, sa pananaw ng mga may-akda, ay sumasalamin na sa estratehikong realidad na kinakaharap ng mga AI superpower. Anumang estado na hayagang maghahangad ng dominasyon sa AI ay dapat asahan na mabibigo ang proyekto nito dahil sa mga karibal. Kaya ang pangalan, at kaya ang kabalintunaang pag-asa: kapag alam ng lahat ng manlalaro na ang pagmamadali para sa dominasyon ay masasabotahe, walang magmamadali, at napipigilan ang pinakadelikadong galaw sa laro. Gaya ng MAD, pinapangatwiran ng mga may-akda na puwedeng patatagin ang standoff sa pamamagitan ng sinadyang praktis: ilayo ang mga datacenter sa mga lungsod para hindi masyadong mapinsala ang matataas na antas, panatilihing hiwalay ang cyber rungs ng escalation ladder sa kinetic ones, at palawakin ang transparency sa pagitan ng mga karibal para walang magkamali ng komersyal na proyekto bilang dominasyon bid.
Ang dalawa pang haligi
Nakuha ng MAIM ang mga headline, ngunit ang estratehiya ay may tatlong bahagi, at ang pangalawa ang pinaka-kapaki-pakinabang sa atin. Di-paglaganap inilalapat ang makinaryang itinayo para ilayo ang fissile material sa mga terorista sa AI: sinusubaybayan ang advanced chips tulad ng pag-subaybay sa enriched uranium, sinisiguro ang model weights laban sa pagnanakaw, at itinayo ang mga safeguard sa mga sistema para tumanggi itong tumulong sa bioweapon design o pag-atake sa critical infrastructure. Ipinapalagay ng pillar na ito ang kooperasyon ng mga estado sa pamamahala sa compute kahit habang nagkakompetensya sila sa lahat ng iba pa, tulad ng ginawa ng Washington at Moscow sa nonproliferation sa gitna ng Cold War.
Kakayahang makipagkumpetensya is the realist tithe: states should strengthen their economies and militaries with AI, and above all repair fragile chip supply chains through domestic manufacturing, a concern that has since hardened into ang politika sa pagkontrol ng eksport ngayon ay humuhubog sa industriya.
Inilalagay ng papel ang triad na ito laban sa dalawang estratehiyang tinatanggihan nito: ang hands-off na karera para maunang buuin ang superintelligence at umasa, at ang tinatawag nitong hindi maisasakatuparan na global moratorium. Ang deterrence, sa pagkukuwento na ito, ang grown-up na opsyon sa pagitan ng recklessness at naivety.
Ang tama sa papel
Magsimula sa tagumpay. Sa loob ng maraming taon, ang karaniwang kaso para sa karera ay ang superintelligence ng isang karibal ay magiging sakuna, kaya’t kailangan nating mauna. Tahimik na binabaliktad ng "Superintelligence Strategy" ang argumentong ito. Kung ang isang unilateral na bid para sa dominance ay hindi matatanggap ng mga karibal, kung gayon ang bid ng bawat isa ay hindi matatanggap ng iba, at ang sprint mismo ang nagiging banta sa pambansang seguridad sa halip na ang sagot dito. Mula sa mga may-akda ng ganitong profile, ang pagbabaliktad na iyon ay gumawa ng tunay na gawain. Inilagay nito ang loss of control at strategic instability sa mga mesa ng mga taong hindi kailanman babasa ng isang alignment paper, at itinatag nito, sa respetadong wika, na ang pagpipigil ay maaaring ipatupad sa halip na hilingin lamang.
Samantala, ang nonproliferation pillar ay isang bahagi lang ng treaty architecture na aming itinaguyod, na nagmula sa ibang direksyon. Chip tracking, weight security, at hardware-enabled governance ay dual-purpose: pareho nilang pinagsisilbihan ang deterrence regime at verification regime. Bawat dolyar na ginugol sa pagbuo nila ay dolyar na ginugol para gawing checkable ang isang future agreement.
Saan humihina ang nuclear analogy
Ang problema ay nagsisimula kapag tinanong mo kung ano ang nagpatatag sa MAD at inihambing ang bawat elemento sa katapat nitong AI.
Ang nuclear launch ay hindi malabo. Maaaring maiugnay ito sa loob ng ilang minuto, alam ang pinagmulan nito hanggang sa metro, at tiyak at nauunawaan nang maaga ng lahat ang tugon na dulot nito. Ngayon ihambing mo. Ang isang "destabilizing" training run ay mukhang commercial run mula sa labas; pareho ang clusters, pareho ang power draw, pareho ang satellite signature. Hindi natukoy ang threshold, at hindi dahil sa kakulangan ng pagsusulat kundi dahil hindi inilalantad ng kakayahan ang sarili tulad ng missile plume. Ito ang problemang tinatawag nating pagde-define ng mapanganib na AI, at minana ito nang buo ng MAIM: kailangan ng isang rehimeng deterrence ng pulang guhit, at hindi masasabi nang eksakto ng papel kung saan ang guhit na iyon.
Nabibigo rin ang attribution sa kabilang direksyon. Kapag bumagsak ang isang training run, ito ba ay sabotage, bug, o masamang data? Maaaring atakihin ang isang estado nang hindi niya alam, na nangangahulugang walang deterrence ang atake, o maniwala ito na inatake ito kahit hindi naman, na mas masahol pa. Gumagana ang deterrence sa pamamagitan ng visible, credible, attributable na mga banta. Ang covert cyber operations ay wala sa tatlong ito. Ang mga analysts sa MIRI, RAND, at iba pa ay itinuro nang eksakto ang mga puntong ito sa loob ng ilang linggo pagkatapos ng publikasyon, at ang observability critique sa partikular ay hindi pa nasasagot nang kasiya-siya: ilang mananaliksik ang naghinuha na ang mga kondisyon para sa stable deterrence ay hindi pa umiiral, at maaaring mangailangan ng malalim, mutual transparency sa datacenters ng mga karibal bago ito mangyari.
Mayroon ding escalation ladder mismo. Ang pag-normalize ng mga pag-atake sa critical infrastructure ng nuclear-armed states, bilang routine statecraft, ay hindi malinaw na recipe para sa stability. Ang sagot ng papel, panatilihin ang cyber rungs nang malayo sa ibaba ng kinetic ones, ay ipinapalagay na ang target ng isang sabotage campaign ay sumasang-ayon sa iyong pagbabasa kung saang rung ka nakatayo. Ang kasaysayan ng Cold War ay isang katalogo ng mga sandali kung saan nagkakaiba ang mga pagbabasang iyon, at nag-aalok ito ng isa pang babala na hindi tinitirhan ng papel: halos nabigo ang MAD nang ilang beses, dahil sa aksidente, false alarm, at maling paghatol, at nailigtas ito ng swerte kasing dami ng doktrina. Ang pagtanggap sa lohika nito ay nangangahulugan ng pagtanggap sa mga failure modes nito.
Kailangan ng deterrence ng malinaw na tripwire at hindi mapagkakamalang tugon. Wala pa rin ang MAIM sa dalawa.
Ang hindi magagawa ng MAIM kahit gumana ito
Ibigay ang lahat sa framework, at may mas malalim pang limitasyon. Pinipigilan ng MAIM ang isang partikular na failure: ang sadyang at halatang pagmamadali ng isang estado para sa unilateral dominance. Wala itong ginagawa sa failure mode na pinakakinakatakutan namin, dahil wala itong aggressor na mapipigilan.
Misalignment does not care which flag flies over the datacenter. A world of rival programs, each carefully staying below the sabotage threshold, is still a world nagmamadali tungo sa mga sistemang walang sinuman ang makokontrol, kasama ang karaniwang pressure ng lahi na magtipid sa kaligtasan. Mas masahol pa, ang MAIM ay nagdaragdag ng sarili nitong pressure: ang mga proyektong nasa ilalim ng banta ng sabotage ay may lahat ng dahilan para magtago, magpatibay, at magkalat, at ang lihim ay kaaway ng bawat safety practice na may halaga. Ang deterrence ang nagbabantay sa mga kakumpitensya habang ang problema sa pagkontrol mismo ay hindi napipoliciaan, at ang mas mabagal, mas tahimik na mga ruta patungo sa catastrophe, kasama ang unti-unting pagkawala ng kapangyarihan that requires no dominance bid at all, pass beneath its radar entirely.
Ang standoff ay hindi rin resting state. Matatanggap ang MAD dahil ang pagpigil sa paggamit ng isang umiiral na sandata ay isang bounded na gawain. Dapat pigilan ng MAIM ang pagbuo ng isang gumagalaw na kakayahan, magpakailanman, na may mga threshold na nagbabago bawat taon habang nagiging mas episyente ang mga algorithm at nagde-desentralisa ang compute frontier. Ang perpetual crisis management ay isang countdown na may magandang branding, hindi isang estratehiya.
Ang deterrence at mga kasunduan ay hindi magkaribal
Hindi kailanman nakatayo nang mag-isa ang nuclear deterrence. Ginawa itong survivable ng mga ordinaryong makinarya na idinagdag dito sa loob ng mga dekada: hotlines, inspections, ang NPT, SALT, START, ang mga protocol sa pagpapatunay that let each side count the other's warheads. MAD supplied the fear; arms control converted the fear into rules before the fear could convert itself into war. Invoking the first half of that history while waving off the second, as the paper does when it dismisses coordinated restraint as utopian, is quoting the Cold War selectively.
At ang dalawang halves ay nagbabahagi ng isang engine. Para mapaniwalaang magbanta ng sabotage, kailangan makita ng isang estado ang mga AI programs ng mga karibal nito nang sapat para malaman kung may dominance bid na nagaganap. Ang surveillance na iyan, ang mga satellite, ang chip tracking, ang intelligence sa training runs, ang karamihan sa isang kasunduan sa superintelligence needs for verification. Ang papel, kapag binasa laban sa sarili nitong intensyon, ay argumento na ang pinakamahirap na bahagi ng treaty ay itinutayo na.
Kaya ang aming verdict ay mas makitid kaysa sa isusulat ng mga fans ng papel o ng mga pinakamahigpit nitong kritiko. Ang MAIM ay valuable bilang description: tama nitong pinangalanan ang standoff, itinatag na ang unilateral sprints ay lalabanan, at sinasabi sa defense establishments na ang race ay threat sa halip na solution. Nabigo ito bilang destination, dahil ang permanent, undefined, covert standoff sa pagitan ng nuclear powers ay hindi stability, at dahil iniiwan nito ang aktwal na source ng existential risk, ang mga sistema mismo, na walang pamamahala. Ang deterrence ay bumibili ng oras. Isang napatunayang kasunduang internasyonal ay para dito ang oras.