May bias ang governance literature sa AI safety tungo sa successful analogies. Madalas na binabanggit ang Chemical Weapons Convention. Lumilitaw ang Montreal Protocol sa karamihan ng seryosong talakayan. Itinuturing ang IAEA's nuclear safeguards system bilang modelo para sa kung ano ang maaaring hitsura ng isang AI monitoring agency. Mahalaga ang mga reperensyang ito, ngunit nagbibigay ito ng hindi kumpletong larawan ng kung ano ang maaari at hindi maaaring magawa ng international governance.
Dalawa sa mga ito ang namumukod: ang Comprehensive Test Ban Treaty, na hindi pa rin ipinatutupad, at ang Biological Weapons Convention, na walang mekanismo ng pagpapatunay at nilabag nang malawakan sa loob ng dalawang dekada.
Ang mga pagkabigo ay pantay na nakapagtuturo, at sa ilang aspeto ay higit pa. Inihahayag nila ang mga partikular na design choices at political conditions na nagdudulot ng pagbagsak o pagkulang ng governance regimes. Para sa ASI governance, na hindi pa dinisenyo, ang pag-unawa sa mga failure modes na ito ay mas actionable kaysa sa pag-aaral ng success stories, dahil ang mga design choices na tutukoy sa tagumpay o pagkabigo ay bukas pa.
Unang failure mode: ang bitag ng entry-into-force
Ang Comprehensive Test Ban Treaty ay binuksan para sa lagda noong Setyembre 1996. Pagsapit ng 2026, 187 bansa ang pumirma at 178 ang nag-ratify. Hindi pa ito ipinatutupad.
Ang dahilan ay Article XIV, na nangangailangan na ang kasunduan ay magkaroon ng bisa lamang pagkatapos ng ratipikasyon ng lahat ng 44 estado na may nuclear power plants o research reactors noong panahon ng negosasyon ng kasunduan. Dinisenyo ang listahan ng 44 Annex 2 states na ito para matiyak na saklaw ng kasunduan ang mga estado na pinakamahalaga sa nuclear testing. Sa halip ay naging permanenteng veto ito na hawak ng walong bansa: China, Egypt, India, Iran, Israel, North Korea, Pakistan, at United States. Hanggang hindi niraratipika ng lahat ng walo, hindi maaaring magkaroon ng bisa ang CTBT kahit gaano karami pang estado ang gumawa nito.
Hindi walang silbi ang CTBT. Ang Comprehensive Nuclear-Test-Ban Treaty Organization ay nagpapatakbo ng pandaigdigang monitoring system ng seismic, hydroacoustic, infrasound, at radionuclide stations na maaaring makakita ng nuclear tests nang may mataas na pagiging maaasahan. Nagbigay ang monitoring na ito ng tunay na intelligence tungkol sa mga nuclear program ng mga bansang hindi pumirma, kasama ang anim na nuclear tests ng North Korea sa pagitan ng 2006 at 2017. Hindi iiral ang monitoring ng CTBTO nang wala ang treaty framework, kahit sa kasalukuyang provisional application nito. Pero ang pangunahing obligasyon ng treaty, ang pagbabawal sa nuclear tests, ay hindi legal na may bisa sa mga estado na pinakamalamang na magsagawa ng tests, dahil hindi pa ito ipinatutupad.
Ang entry-into-force provision ng CTBT na nangangailangan ng ratification ng lahat ng 44 named states ay dinisenyo para matiyak ang unibersal na coverage ng pinakamahalagang aktor. Sa halip ay lumikha ito ng istruktura kung saan anumang isang relevant state ay maaaring harangan ang buong regime nang walang hanggan. Ang ASI governance treaty na may katulad na probisyon, na nangangailangan ng ratification ng United States, China, Russia, ang EU, at lahat ng major AI-developing countries bago magkaroon ng bisa, ay haharap sa parehong structural vulnerability. Dapat magkaroon ng bisa ang treaty sa mga willing parties sa isang defined threshold, hindi nangangailangan ng unibersal na coverage bilang precondition.
Para sa ASI governance, ang CTBT failure ay tumuturo sa isang specific design choice: entry-into-force provisions. Ang isang treaty na nangangailangan ng partisipasyon ng lahat ng major AI-developing states bago ito magkabisa ay nagbibigay sa bawat isa sa mga estadong iyon ng unilateral blocking power sa buong regime. Ang US, China, EU, UK, at marahil lima o sampung iba pang estado ay maaaring ilista bilang required parties, at anumang isa sa kanila ay maaaring pigilan ang treaty na pumasok sa puwersa nang walang hanggan.
Ang mas matatag na disenyo ay nagpapahintulot sa treaty na magkabisa sa isang critical mass ng willing parties, na lumilikha ng isang operating governance regime, habang iniiwan ang pinto na bukas para sa mga non-parties na sumali mamaya. Ang mga non-parties ay nahaharap sa exclusion mula sa mga benepisyo ng treaty (technology sharing, market access preferences, cooperative safety research) na lumilikha ng insentibo na sumali. Ang bisa ng treaty sa mga existing parties samantala ay lumilikha ng isang demonstrated governance model na nagbabawas ng kawalan ng katiyakan tungkol sa kung ano ang kasama sa pagsali. Ang Mine Ban Treaty at ang International Criminal Court ay parehong gumamit ng ganitong approach.
Pangalawang failure mode: pagbabawal nang walang beripikasyon
Binuksan para sa lagda ang Biological Weapons Convention noong 1972 at ipinatupad noong 1975. Ipinagbabawal nito ang pagbuo, produksyon, at pag-iimbak ng biological weapons at inuutusan ang mga estado na sirain ang anumang umiiral na stockpile. Mayroon itong 183 state parties. Wala itong verification mechanism, walang inspectorate, at walang pormal na katawan na may awtoridad na imbestigahan ang mga alegasyon ng paglabag o gumawa ng findings ng non-compliance.
Ang Soviet Union ay nag-ratify ng BWC noong 1975. Noong 1973, dalawang taon bago ang ratification, inaprubahan ng Soviet Council of Ministers ang paglikha ng Biopreparat, isang network ng nominally civilian research institutes na bumubuo sa pinakamalaking offensive biological weapons program sa mundo. Sa rurok nito noong 1980s, nag-empleyo ang Biopreparat ng humigit-kumulang 60,000 siyentipiko at gumawa ng plague, smallpox, at anthrax weapons sa industrial scale, kasama ang genetically modified agents na idinisenyo upang maging resistant sa antibiotics at vaccines. Ang programang ito ay nag-operate sa direktang at komprehensibong paglabag sa BWC sa buong 1970s at 1980s, hanggang sa ito ay ibinunyag ng mga Soviet defectors matapos ang pagbagsak ng USSR. Walang paraan ang BWC regime upang matuklasan ito.
Ito ang pinakamalaking kabiguan ng arms control verification sa post-war period. Ang prohibition na hindi maverify ay isang norm, hindi isang accountability mechanism. Lumilikha ito ng public standard ng acceptable behavior na may tunay na epekto sa state behavior sa maraming kaso, habang structurally hindi nito nakikita ang systematic violation ng mga estado na may means at motibo para lumabag nang palihim.
Ang negotiations para magdagdag ng verification protocol sa BWC ay tumakbo mula 1995 hanggang 2001. Tinanggihan ng United States ang iminungkahing protocol noong Hulyo 2001, na nangangatwirang ang inspection procedures nito ay parehong masyadong nakikialam sa lehitimong commercial biotechnology at masyadong mahina para mapagkakatiwalaang makita ang mga paglabag. Bumagsak ang negotiations at hindi na muling binuhay sa anumang anyo na makakapagbigay ng binding verification mechanism. Nananatili ang BWC bilang isang norm na walang verification body.
Ano ang ibig sabihin ng pagkabigo ng BWC para sa ASI governance
Hindi perpekto ang paghahambing ng biological weapons sa AI, pero ilang aspeto ng kabiguan ng BWC ay direktang mailalapat sa pamamahala ng ASI.
Ang dual-use ang pangunahing hamon sa verification. Ginagawa ang biological weapons gamit ang laboratory equipment, kaalaman, at proseso na halos magkapareho ng lehitimong pharmaceutical at public health research. Ang pagkilala sa offensive mula sa defensive research, o civilian mula sa weapons applications, ay nangangailangan ng highly trained inspectors na may access sa confidential commercial at technical information, at nagdudulot pa rin ng tunay na ambiguity sa maraming kaso. Dahil sa dual-use character na ito, naging technically demanding at politically contentious ang verification protocol para sa BWC sa mga paraang hindi naging ganoon ang verification para sa chemical o nuclear weapons na may mas malinaw na signatures.
Parehong dual-use character ang AI sa mas pangunahing antas. Ang isang large language model na sinanay para sa natural language generation ay teknikal na hindi makikilala sa isang sinanay para sa persuasion sa malaking sukat. Ang isang model na sinanay para sa scientific research assistance ay teknikal na magkapareho sa isang sinanay para sa autonomous action sa high-stakes environments. Ang mga kakayahang nagpapahalaga sa frontier AI sa komersyo ay pareho rin sa mga kakayahang nagpapadelikado rito. Hinaharap ng ASI governance verification ang parehong hamon na tumalo sa BWC verification: dapat nitong makilala ang mapanganib sa lehitimong aplikasyon ng teknikal na magkaparehong mga sistema.
"Ipinapakita ng Biological Weapons Convention kung ano ang nagagawa ng isang prohibition na walang verification sa paglipas ng panahon. Isang malawak na tinatanggap na norm, malinaw na nilabag sa malaking sukat ng isang major power sa loob ng dalawampung taon, nang walang mekanismo para matuklasan o tumugon sa paglabag. Para sa ASI governance, ito ang default na resulta kapag ipinagpaliban ang verification sa isang future protocol na maaaring hindi na dumating, hindi isang theoretical concern."
Ang aral ay hindi na imposible ang verification para sa AI, kundi dapat itayo ang verification sa treaty mula sa simula imbes na ipagpaliban sa susunod na protocol. Nabigo ang verification negotiations ng BWC pagkatapos ng dalawampu't anim na taon ng pagsisikap. Ang ASI governance treaty na nagtatatag muna ng prohibition at ipinagpapaliban ang verification architecture ay nanganganib sa parehong resulta: isang norm na walang accountability mechanism, na gumagana kasabay ng development programs na hindi nito nakikita.
Ikatlong failure mode: pag-alis nang walang gastos
Sumali ang North Korea sa Nuclear Non-Proliferation Treaty noong 1985, nag-anunsyo ng withdrawal noong 1993 at muli noong 2003, at nagsagawa ng unang nuclear test noong 2006. Ang withdrawal provision ng NPT, ang Article X, ay nagpapahintulot sa anumang estado na mag-withdraw sa loob ng siyamnapung araw na abiso kung ito ay magpasya na ang extraordinary events ay nagbanta sa supreme national interests nito. Ang withdrawal ng North Korea ay dumating pagkatapos na ito ay mapatunayang hindi sumusunod ng IAEA sa mga safeguards obligations nito, at epektibong tinapos ng withdrawal ang kakayahan ng IAEA na subaybayan ang nuclear program ng North Korea.
Para sa ASI governance, ang NPT/North Korea precedent ay nagpapakita ng kahalagahan ng withdrawal cost. Ang treaty na maaaring iwanan sa loob ng siyamnapung araw na walang parusa ay nagbibigay ng mahinang assurance, dahil ang estado na gustong ituloy ang mga aktibidad na ipinagbabawal ng treaty ay maaaring umalis bago pa ito makita. Ang withdrawal provisions sa isang ASI governance treaty ay dapat isama ang: isang tinukoy na notice period na sapat na mahaba para makapag-react ang treaty bodies at iba pang partido; pagpapanatili ng inspection rights sa isang tinukoy na panahon pagkatapos ng withdrawal notification; at automatic suspension ng benefits sa sandaling maabisuhan ang intent to withdraw imbes na sa effective withdrawal.
Ang mga pagpipiliang ito sa disenyo ay hindi pipigil sa withdrawal, pero sisiguraduhin nitong magiging magastos at nakikita ang withdrawal sa halip na pangkaraniwan at tahimik. Ang layunin ay hindi bitagin ang mga estado sa mga kasunduan na tinututulan nila, kundi tiyakin na ang pag-alis sa rehimen ay isang politically significant na pangyayari na nagdudulot ng internasyonal na atensyon at diplomatikong tugon.
May kalamangan ang ASI governance designers dahil maaari nilang pag-aralan ang mga pagkabigo na ito bago isulat ang mga kaukulang probisyon. Ang mga pagkabigo ng CTBT, BWC, at NPT ay lahat dokumentado, nasuri, at magagamit. Maiiwasan ang mga design choices na nagdulot ng mga pagkabigo na iyon. Ang tanong ay kung papayagan ng political process na gumagawa ng ASI governance treaty na mabuhay ang mga technical design insights mula sa mga pagkabigo na ito kapag nakipag-ugnayan sa negotiating positions ng mga major powers.
Ang pinakamalakas na pagtutol
Ang pinakamabuting pagtutol ay na ang mga failed treaties ay nagpapatunay na hindi kailanman gumagana ang treaties. Ang mga failed designs ay nagpapatunay ng masamang clauses. Ang entry-into-force traps, nawawalang verification, at murang withdrawal ay mga fixable drafting choices. Ang aral ay isulat ang kabaligtaran, hindi iwanan ang batas.