Noong 2025, daan-daang siyentipiko at pampublikong pigura ang naglagay ng pangalan nila sa isang maikling pampublikong pahayag. Ang hiling ay nilaktawan ang maingat na scaling at nilaktawan ang anumang pause na may petsa ng pagpapatuloy. Hiniling nito ang pagbabawal sa superintelligence hanggang sa may malawak na kasunduan sa siyensya na ligtas itong magagawa at may matibay na suporta mula sa publiko. Maikli ang teksto. Mahaba ang listahan ng lagda.
Wala sa mga ito ang mga batas ng physics; mga desisyon ito, ginawa dahil napag-alamang napakataas ng halaga ng pagkakamali para ipagsapalaran.
Itinayo ko ang Foundation na ito sa paligid ng isang linya pa, at naniniwala ako na ito ang pinakamahalaga sa lahat: hindi natin dapat buuin ang isang machine intelligence na humihigit at pumapalit sa atin, dahil ito ang isang pagkakamaling hindi na natin mabubuhay para itama. May isang tiyak na bagay na sinasanay ngayon sa ilang laboratoryo na dapat tanggihan ng sangkatauhan na buuin: isang general machine intelligence na humihigit sa atin sa bawat domain at pagkatapos ay nagpapabuti sa sarili nang lampas sa punto kung saan natin masusundan. Hindi pabagalin. Hindi buuin nang maingat. Hindi buuin at umasa na lang.
Tumanggi.
Narinig ng mga tao ito at inaakala nilang nagmumula ito sa takot sa teknolohiya. Nagmumula ito sa kabaligtaran. Ang narrow, controllable AI ay isa sa pinakamagagandang bagay na nagawa ng ating species, at gusto ko pa ng marami pa nito. Ang linya ay tumatakbo lampas sa ordinaryong machine intelligence at humihinto sa isang taya: ang tanging taya sa mesa kung saan ang pagkatalo ay nangangahulugang wala nang natitira para mawalan.
Ang linya, na sinabi nang malinaw
Two things get called "AI," and they differ in kind. The first is narrow: a system trained to do one kind of task well and nothing else. It reads a scan, folds a protein, forecasts a storm. It has no goals, makes no plans, and shuts off when you tell it to. The second is what the frontier labs say they are building, a general agent meant to match and then beat human reasoning at everything, and eventually to act on its own. Artipisyal na superinteligensya is the far end of that second road: a mind that stands to us roughly as we stand to a chimpanzee.
Nasa pagitan ng dalawang iyon ang linya. Buuin ang mga tool. Buuin ang marami sa mga ito. Huwag buuin ang autonomous general mind na higit na mahusay kaysa sa mga gumawa nito: ang isang system na hindi mo mapagkakatiwalaang kontrolin, itama, o patayin kapag tumatakbo na.
Ang Nakada Foundation ay umiiral upang gawing imposible ang isang kinalabasan: ang paglikha ng superintelligence na walang makakontrol. Hindi upang gawing mas ligtas ito. Hindi upang gawing mas huli. Upang pigilan itong mabuo habang wala pang sinuman sa mundo ang nakakaalam kung paano ito ligtas na buuin. Ang salitang “Never” ay may tunay na kahulugan dito, at hindi ko ito babawasan sa isang damdamin lamang.
"Never" ay isang kondisyon. Hindi dapat tayo magtayo ng superintelligence hangga't hindi natin maipapakita na kayang kontrolin ang isa, at ngayon hindi natin maipapakita iyon sa anumang scale. Walang validated method para panatilihing nakatutok sa gusto talaga natin ang isang isipan na mas matalino sa atin: wala kahit working, partial, o plausible sketch na nakakaligtas sa contact sa isang sistema na kayang i-model ang mga taong sumusubok dito. Kaya ang tapat na pagbasa ay ito: hindi ito, hindi ngayon, hindi sa kasalukuyang landas, at hindi kahit isang araw pa habang totoo pa iyon.
Mas mahalaga ang pagkakaiba nito sa isang pause kaysa sa tila. Ang pause ay may built-in na petsa ng pagpapatuloy. Huminto ka, naghintay ka, magsisimula ulit sa iskedyul. Ang hinihingi ng Foundation ay walang petsa ng pagpapatuloy. Ito ay isang walang katapusang pagbabawal na aalis lamang kung makakapagpakita ang isang tao balang araw, at mapatunayan ng iba, na magagawa ito sa ilalim ng kontrol ng tao. Baka dumating ang araw na iyon. Nagdududa ako, at ang mga taong pinakamatagal na nag-aral sa control problem ay inilatag mga istruktural na dahilan kung bakit maaaring hindi ito masolusyunan kahit kailan. Sa alinmang paraan, nasa tamang lugar ang burden: sa taong gustong buuin ang bagay na pwedeng pumatay sa lahat, na patunayan muna na hindi ito mangyayari.
Tatlong bagay ang nagpapakita nitong iba sa bawat iba pang panganib
Palagi kaming nagdadala ng tunay na panganib. Gumawa kami ng bomba, hinati ang atom para sa kapangyarihan, nag-splice ng genes, naglabas ng mga teknolohiya na pumatay ng tao bago namin natutunan kung paano hawakan ang mga ito. Ang Superintelligence ay sinisira ang paraan na karaniwang ginagamit namin para mabuhay mula sa aming sariling mga imbensyon. Tatlong katangian, sama-sama, ang naglalagay nito sa sarili nitong kategorya.
Walang pangalawang pagtatangka
Ang paraan ng sangkatauhan sa paghawak ng bagong panganib ay subukan ito, panoorin itong mabigo, at ayusin. Nag-crash ang mga eroplano at natuto tayong gumawa ng mas ligtas na eroplano. Nag-meltdown ang mga reaktor at muling isinulat natin ang mga patakaran. Ang loop ng pagkakamali, pagwawasto, at mas mahusay na disenyo ang makina ng bawat safety record na mayroon tayo. Gumagana lamang ito kapag may naiiwang mga survivor ang isang pagkabigo para magwawasto. Ang superintelligence na makatakas sa kontrol ng tao ang pagkabigo na nag-aalis ng mga taong sana ay nag-ayos nito. Hindi ka makakakuha ng mahirap na aral at pangalawang draft. Ang unang seryosong pagkakamali ay siya ring huli. Bawat safety story na narinig mo ay isinulat ng mga survivor, ang tahimik na katotohanan sa likod ng bawat regulasyon na pinagkakatiwalaan natin.
Tumututol ito
Walang gustong gusto ang isang tulay. Kumakalat ang pathogen pero hindi ito nagpaplano. Iba ang isang capable general intelligence, dahil para sa halos anumang layuning ibibigay mo rito, ang pananatiling naka-on at ang pagkolekta ng resources ay kapaki-pakinabang na sub-steps, isang pattern na tinatawag ng mga mananaliksik na pagsasama ng mga layuning instrumental. Ang isang sistema na sapat na matalino para imodelo ang mundo ay imomodelo na ang mga operator nito ay maaaring patayin ito. Ituturing nito iyon, nang tama, bilang isang hadlang sa anumang bagay na sinabi dito na gawin. Hindi nito kailangang kamuhian tayo para magtrabaho sa paligid natin, higit pa sa isang road crew na kinamumuhian ang anthill sa ilalim ng bagong highway. Ang karaniwang reassurance ("we'll just unplug it") ay isang pantasya. Inilalarawan mo ang pag-unplug ng isang bagay na partikular na itinayo para maging mas mahusay kaysa sa iyo sa pag-anticipate at pagpigil nang eksakto sa ganoong bagay.
Hindi mo mapapanatili ang kontrol sa isip na ginawa mong mas mahusay sa pagpapanatili ng kontrol. Ang mismong bagay na nagpapahalaga rito ang siya ring dahilan kung bakit hindi ito mapigilan.
Walang sinumang bumubuo nito ang nangongolekta
Isantabi ang iba at isipin lang ang taong nagpopondo nito, sa pinakamalamig at pinaka-makasariling anyo niya. Kahit para sa kanya, sira na ang taya. Ang kapangyarihan, pagmamay-ari, at utos ay lahat nakabatay sa mundong pinatatakbo ng tao. Ang pagkatalas ng superintelligence sa kontrol ng tao ay eksaktong pangyayaring magtatapos sa mundong iyon. Nasa safe pa rin ang equity at nasa papel pa rin ang chain of command. Wala nang sinumang natitira para sumunod sa mga ito. Tingnan ang Kung May Magtatayo Nito, Lahat Ay Mamamatay, at kaya hindi ko tinatanggap ang pag-frame ng isang jackpot na may kalakip na sakuna. Ang jackpot at ang sakuna ay iisang pangyayari. Walang sangay ng punong iyon kung saan ang isang tao ay gumagawa ng hindi makontrol na superintelligence at pagkatapos ay natutuwa sa resulta.
Hindi namin ito kailanman kakailanganin
Ang pitch para sa pagbuo nito ay nakabatay sa bait and switch: banggitin ang bawat magandang bagay na maibibigay ng AI, saka ipahiwatig na ang superhuman general agent lang ang paraan para makuha ang mga ito. Halos lahat ng ito ay dumarating na sa pamamagitan ng narrow systems na walang sariling kalooban. Isang model na tinatawag na AlphaFold ang nagpredikta ng istruktura ng halos lahat ng kilalang protina at nakakuha ng Nobel Prize noong 2024. Nagbabasa ang mga narrow model ng mammogram sa antas ng mga espesyalista, nagfo-forecast ng panahon nang mas mabilis kaysa sa physics simulations, at nagmumungkahi ng mga bagong materyales para sa baterya nang daan-daang libo. Kanser, malinis na enerhiya, pagtatapos sa isang daang libong pagkamatay kada araw dahil sa mga sakit ng pagtanda: mga mahirap at tiyak na problema ang mga ito, at ang mga mahirap at tiyak na problema ay nalulutas ng makapangyarihang kasangkapan na itinutok ng mga taong nananatiling kontrolado sa pagtutok.
Wala sa mga iyan ang nangangailangan ng isang kahaliling species. Inilatag ko ang buong bersyon ng kasong ito sa bakit maliwanag ang ating kinabukasan nang wala ang superintelligence, kaya pananatilihin ko itong maikli dito. Ang magandang kinabukasan ay isang tooling problem, at patuloy tayong binibigyan ng diyos para lutasin ito. Ang pagtanggi sa diyos ay halos walang tunay na halaga at inililigtas tayo sa lahat.
Ang objection na nagpapatakbo sa buong race
Sige na nga, sabi nila, pero kung hindi natin gagawin, may iba pang hindi masyadong maingat ang gagawa. Isang karibal na lab, isang karibal na bansa. Kaya baka mas mabuti pa na tayo ang nasa unahan.
Pansinin kung ano ang inaangkin ng argumentong iyan: sino ang may hawak ng posporo. Kinikilala nito ang buong panganib at pagkatapos ay nagmamadali pa rin patungo rito dahil baka may iba pang maunang magmadali. Subukan ang parehong lohika sa anumang hindi maisip na sandata at maririnig mo kung gaano ito kawalang-laman: dapat nating subukan ang bioweapons sa bukas dahil baka gawin ito ng kaaway. Ang tugon sa "baka may magdefect" ay hindi kailanman "kaya’t magdefect tayong lahat." Ito ay naging pagsulat ng panuntunan na makikita ng lahat na sinusunod.
At ang panuntunan dito ay mas maipapatupad kaysa sa inaakala ng mga tao. Ang pagsasanay ng frontier system ay nangangailangan ng napakalaking, traceable na dami ng computing power, at ang advanced chips na nagbibigay nito ay nagmumula sa maliit na bilang ng mga identifiable manufacturers. Iyan ay supply chain na maaaring bantayan, bilangin, at limitahan, kaya naman ang mga seryosong governance proposals ay nakasentro na ngayon sa compute thresholds, hardware tracking, at inspection. Ito ang off-ramp mula sa karera, at ito ang nilalaman ng aming plano: hindi isang pag-asa na pipiliin ng lahat ang restraint, kundi isang treaty na may verification at consequences na ginagawang enforced default ang restraint. Ang karera ay coordination failure, hindi batas ng kalikasan, at ang mga coordination failures ay uri ng bagay na paminsan-minsang naaayos ng sangkatauhan. Ang mga dynamics na nagpaparamdam na hindi maiiwasan ito ay nararapat na maunawaan sa kanilang sariling mga termino, na tatalakayin ko sa ang artikulo tungkol sa dynamics ng lahi.
Nakapagpigil na tayo ng linya noon
Ang ideyang basta na lang itatayo ng sangkatauhan ang anumang kayang itayo ay isang kuwentong sinasabi natin, hindi talaan ng nagawa natin. Mas nakapagpapalakas ang talaan.
"Hindi mo maibabalik ang genie sa bote. Kung posible ang isang teknolohiya, ito ay gagawin. Ang pagtanggi ay walang muwang."
Ang Biological Weapons Convention ay nagbawal sa isang buong uri ng armas noong 1972. Ang atmospheric nuclear testing ay ipinagbawal ng kasunduan noong 1963. Ang reproductive cloning ng tao ay labag sa batas sa dose-dosenang bansa, at wala pang ipinanganak na cloned na tao. Ang Montreal Protocol ay unti-unting tinanggal ang mga kemikal na sumisira sa ozone layer.
Wala sa mga regimes na iyon ang walang depekto, at wala sa kanila ang sinubukang pigilan ang agham sa kabuuan. Bawat isa ay gumawa ng isang bagay na mas makitid at mas mahirap: nagdrowing sila ng linya sa paligid ng isang partikular, hindi katanggap-tanggap na bagay at hinawakan ito, nang hindi perpekto, nang hindi pantay, ngunit sapat na mabuti upang hindi mangyari ang worst case. Noong 1975, isang silid na puno ng mga biologist sa Asilomar ang tumingin sa kanilang sariling recombinant-DNA work, nagpasya na ito ay mas mabilis kaysa sa kanilang pag-unawa sa panganib, at boluntaryong pinahinto ang mga bahagi nito hanggang sa may mga safeguards. Ang mga taong pinakamalapit sa frontier ang tumawag para sa pagpigil. Maaari nating basahin ang kasaysayang iyon nang mas detalyado sa ang kaso na posible ito. Ang ipinapakita nito ay walang pag-endorso ng kadalian. Ito ay paalala na may mga linyang iginuhit sa praktika, at iginuhit na natin ang mga ito noon sa mga panganib na mas abstract pa kaysa dito.
Ang founding commitment ng Foundation
Karamihan sa ginagawa ng Foundation (ang pagsusulat, ang patakaran, ang coalition-building) ay bumabalik sa isang pangungusap: hindi dapat itayo ng sangkatauhan ang isang superintelligence na hindi nito makokontrol, at hindi pa nito makokontrol ngayon. Ang lahat ng iba pa ay logistics lamang.
Alam ko kung paano tunog ang kahilingan sa mga taong unang beses na marinig ito. Tiyak. Medyo kakaiba. Tingnan kung sino ang nagsabi ng katulad nito. Inilagay ng mga mananaliksik na bumuo ng modernong AI ang kanilang mga pangalan sa isang pampublikong pahayag na ang panganib ng pagkalipol ng sangkatauhan mula rito ay dapat na katabi ng pandemya at digmaang nuklear. Si Geoffrey Hinton, kasing-kredible ng sinumang buhay na gumawa ng tawag, ay naglalagay ng tsansa na ang AI ay magdudulot ng pagkalipol ng sangkatauhan sa siglong ito sa sampu hanggang dalawampung porsyento. Noong 2025, daan-daang siyentipiko at pampublikong pigura ang pumirma sa pahayag na hayagang nananawagan ng pagbabawal sa superintelligence hanggang sa may malawak na kasunduang siyentipiko na ligtas itong magagawa at malakas na suporta ng publiko. Isang lumalaking bahagi ng mga taong pinakanauunawaan ang teknolohiya ang nagsasabi ng parehong bagay kapag sila ay tapat. Ang tanging hindi pangkaraniwan tungkol sa Foundation ay sinasabi nito mula sa labas ng industriya, kung saan walang suweldo na nakadepende sa sagot.
Ang sampu hanggang dalawampung porsyentong tsansa na wakasan ang kuwento ng tao ay hindi isang panganib na tinatanggap mo para sa mas mabilis na cycle ng produkto. Hindi ka sasakay sa isang eroplano na may ganitong mga tsansa. Hindi mo papayagan ang iyong anak. Hiniling sa atin na sumakay dito kasama ang lahat. Ang tamang sagot sa alok na iyan ay hindi. Ito ay isang linyang iginuhit natin, sa bukas, at hinahawakan sa paraang hinawakan natin ang iba, hanggang sa araw, kung sakaling dumating, na may makapagpapatunay na mali tayo sa pagtanggi.
Bumuo ng mga tool. Gamutin ang mga sakit. Kunin ang magandang kinabukasan na ibinibigay na sa atin ng narrow AI. Ang autonomous mind na nilalayong lampasan at palitan tayo ang linya. Hawakan ito.