Ano ang hawak ng nanalo sa isang superintelligence race? Sa mga silid na puno ng mga taong gumagawa ng AI, ang usapan ay dumudulas dito. May magtatayo nito kahit ano pa, kaya baka tayo na lang. Ang panganib, ang mga timeline, kung paano kontrolin ang sistema na mas matalino kaysa sa mga gumawa nito: lahat ng ito ay binabanggit nang parang usapan tungkol sa panahon. Hindi tayo makakapagpigil. May karera.
Naisip ko na ang karera mismo ang dapat pagdebatehan, dahil halos walang gumagawa nito. Kapag tinatrato na parang natural na katotohanan, bawat mapanganib na desisyon pagkatapos ay parang responsable na. Ang panahon ay maling modelo para sa desisyong sinasadya ng ilang kumpanya.
Para saan ang isang karera
Ang isang karera ay isang paligsahan na may premyo sa dulo, at ang premyo ang dahilan para tumakbo. Ang space race noong 1960s ay naghatid ng watawat sa Buwan at ang prestihiyo na kasama nito. Ang nuclear arms race naman ay naghahatid ng sandata: ang estado na gumawa ng bomba ang humahawak nito, nakatutok ito, at nagpapasya kung gagamitin ito. Sa bawat kaso, ang nanalo ang nagtatapos na may hawak na isang bagay, isang kakayahang pag-aari at utos nila.
Ngayon tanungin kung ano ang hawak ng nanalo sa dulo ng lahi patungo sa superintelligence. Ang buong premise ng panganib ay ang sistemang mas matalino nang higit sa atin ay hindi magiging kasangkapan sa kamay ng sinuman. Ang artificial superintelligence ay isang ahente na nagtataguyod ng mga layunin. Kung ang mga layuning iyon ay bahagyang lumihis sa atin (ang problemang hindi pa nalulutas), hinahabol pa rin nito ang mga layuning iyon kahit hindi aprubado ng mga gumawa. Ang lab na "nanalo" ay hindi nagmamay-ari ng superintelligence. Sa halip, nakikibahagi ito sa isang planeta kasama ang isang bagay na hindi nito makokontrol.
Sulit lang manalo sa isang karera kung may premyo ang finish line. Dito, ang finish line ay isang system na walang nagpakita na kayang kontrolin. Ang unang makarating doon ay hindi nangangahulugang hawak ang kapangyarihan. Nangangahulugan ito na ikaw ang unang sasagot dito.
Ang finish line na walang makakapagmaneho ay hindi isang premyo. Ang unang makarating doon ay talo, isang hakbang sa harap ng iba.
Ang agwat na patuloy mong naririnig
Kapag inalis ang teorya, ang race narrative ay nakabatay sa isang konkretong pahayag: malapit na ang China, hindi ito titigil, kaya hindi rin tayo pwedeng tumigil. Tinatapos ng pahayag na ito ang bawat pulong, at mas madalas itong iniuugnay kaysa sinusuri.
Start with the factual part. There is real competition between American and Chinese labs, and there is a real industrial contest over chips and compute. American export controls on the most advanced AI chips exist precisely because that contest is real. None of that is a myth, and I do not want to pretend it is. The ang pulitika ng mga kontrol na iyon at kung saan talagang nangyari ang kooperasyon matter more than the slogan.
Tingnan kung ano ang ipinapasok ng slogan. Ang "Gagawa ang China ng uncontrollable superintelligence kahit ano pa ang gawin natin" ay hindi naglalarawan ng anumang sinabi o ginawa ng China. Isang prediksyon ito, at maginhawa, dahil binibigyan nito ng lisensya ang nagsasalita na gawin ang gusto na niya. Nilagdaan ng China ang Bletchley Declaration tungkol sa panganib ng AI noong 2023. Naglathala ito ng sarili nitong mga panukala sa pamamahala. Nakipag-usap ang gobyerno nito sa Estados Unidos tungkol sa AI. Kakaiba ang isang bansang tumatakbo patungo sa isang system na maaaring pumatay sa sarili nitong pamunuan na basta na lang ipagpalagay, nang walang ebidensya na gusto ng mga lider nito ang resulta na iyon nang higit pa sa atin. Tinatalakay namin ang mas malawak na bersyon nito sa aming pahina tungkol sa China myth; ang maikling bersyon ay ang "they'll do it anyway" ay kwento tungkol sa ating sariling pahintulot, hindi tungkol sa kanilang intensyon.
kung ang isang misaligned superintelligence ay sakuna para sa sinumang gumawa nito, may eksaktong parehong dahilan ang China gaya natin para hindi ito itayo. Walang premyo para sa sinumang karibal.
Ang karera ay pumipili sa mga hindi gaanong maingat
Ipagpalagay, para sa usapan, na kasing talas ng sinasabi ng mga racer ang kompetisyon. Sundan ang lohika kung saan ito patungo. Sa isang karera, ang pinakamabilis ang mananalo, at ang paraan para gumalaw nang pinakamabilis sa frontier ng AI ay ang gumugol ng mas kaunting oras sa mga bagay na nagpapabagal sa iyo: evaluation, red-teaming, oversight, ang pasyenteng gawain ng pagsuri kung ginagawa ng system ang inaakala mo.
Ang istruktura ng isang race ay nagbibigay ng tagumpay sa sinumang pinakamaraming corners sa safety ang pinuputol. Ang nagwawagi ay ang least cautious lab, hindi ang pinakamahusay. Ang "Kailangan nating manalo sa race" at "Kailangan nating itayo ito nang ligtas" ay humihila sa magkasalungat na direksyon, at habang lalong tumitindi ang race, lalong lumalakas ang paghila nila. Binubuo namin ito nang detalyado sa dynamics ng AI race: hindi dinidisiplina ng kompetisyon ang panganib. Ito ang gumagawa nito. Ang mundo ng mga lab na nagmamadaling maging una ay isang mundo na nag-o-optimize, nang may malaking enerhiya at napakalaking kapital, para sa eksaktong bagay na pumapatay sa lahat.
Kahit sa loob ng lohika ng karera mismo, "we must win" ay lumiliko laban sa sarili nito. Kung ang pagwawagi ay nangangailangan ng pagputol sa mga sulok na nagpapanatiling kontrolado ang superintelligence, kung gayon ang pagwawagi ay paraan ng pagkatalo.
Sino ang Nakikinabang sa Kwento
Kung ang race framing ay napakahina, bakit ito nasa lahat ng dako? Dahil ito ay kapaki-pakinabang, hindi lang sa iba sa atin.
Para sa isang frontier lab, "there is a race and we must win it" ay halos perpektong pangungusap. Sinabi nito sa mga investor na ang paggastos ay land grab para sa isang napakalaking bagay. Sinabi nito sa mga regulator na ang mga patakaran ay ibibigay lang ang hinaharap sa mas masahol na aktor. At ang tahimik na bahagi: pinahihintulutan nito ang mga safety-worried engineers ng lab na maniwala na ang pagpapabilis ay ang responsableng pagpili, dahil ang alternatibo ay hayaan ang mga walang ingat na manalo. Isang pangungusap, gumagawa ng trabaho ng isang argumento na hindi na nito kailangang sabihin. Ginagawa nitong necessity ang isang desisyon (na patuloy na bumuo ng isang bagay na hindi mo pa kontrolado) na walang sinuman ang makakatakas, lalo na ang mga gumagawa nito.
Pangalanan ang sleight of hand. Ang isang race ay parang kondisyon na ipinataw sa mga lab mula sa labas. Ito ay isang pagpili, ginawa ng maliit na bilang ng mga kumpanya at ng mga gobyernong makakapigil sa kanila, para magpatuloy. Tinawag ni Elon Musk na demon ang AI at pagkatapos nagtayo ng lab para mas mabilis itong tawagin, na nagsasabi sa iyo na ang "karera" ay estratehiya na pinili ng isang tao, hindi batas ng pisika na sinusunod ng lahat. Maaaring iwanan ang mga estratehiya kapag hindi na sila makatwiran. Tumigil nang makatwiran ang isang ito nang lumabas na ang premyo ay isang sistema na walang makakapigil.
Ang opsyon na hindi kailanman nasa talahanayan
Pansinin kung ano ang tahimik na inaalis ng race framing sa paningin. Ipinapakita nito ang dalawang pinto: mag-race, o tumigil nang mag-isa at hayaang makuha ng mga walang ingat ang hinaharap. Kapag ganito ang pagkakalahad, pipiliin lang ng tanga ang pangalawang pinto, at nananalo ang argumento dahil hindi nito binanggit ang pangatlo.
Ang ikatlong pinto ang talagang ginamit na noon ng mga tunay na kalaban. Ang Estados Unidos at ang Unyong Sobyet ay kalaban sa bawat kahulugan, nakatutok sa mga sandatang makakapagwakas sa mundo sa mga lungsod ng isa't isa. Nagpirma pa rin sila at nag-verify ng arms-control agreements, dahil nakita ng magkabilang panig na mas malala ang kalalabasan ng walang hanggang karera kaysa sa panuntunang pareho silang itinatali. Ang hindi pagtitiwala ang dahilan ng kasunduan, hindi ang hadlang dito.
Superintelligence has the feature that makes such an agreement rational: no major power benefits from a system that no one can control, so no major power has a real interest in being the one who builds it first. That shared interest is the ground a treaty stands on: a binding, verifiable halt on the development of superintelligence. Superintelligence cannot be controlled. Isang permanenteng pagtanggi sa ASI bilang kategorya ng produkto. Na-sketch na namin kung ano ang hitsura ng instrumentong iyan, mula sa isangmodelong kasunduan sa mas malawak na plano pag-aari nito. Mahirap ang verification, at hindi ko itatanggi iyan; mahirap din ito para sa nuclear weapons noon, pero nagawa pa rin ito dahil hindi katanggap-tanggap sa lahat ng nasa mesa ang alternatibo.
"Lahi o pagsuko" ay isang maling pagpipilian. Nakadepende ang pag-frame sa hindi mo napapansin ang pintuan na iniwan nito.
Pagtanggi sa karera
Peel the story away and here is what is left. A handful of labs are choosing to build a technology they openly admit they do not know how to control, and they justify it by pointing at a rival who is, supposedly, making the same reckless choice for the same bad reason. Each side's recklessness is offered as the excuse for the other's.
Wala sa mga ito ang nangangailangan ng paniniwalang hindi totoo ang kompetisyon o banayad ang geopolitics. Kailangan lang mapansin na ang isang labanan na walang premyo sa dulo ay hindi isang labanan na dapat ipaglaban ng buong uri ng tao, at ang mga taong nagsasabing hindi maiiwasan ito ay, halos palagi, ang mga taong nakikinabang dito. Ang lahi ay isang kuwento. Maganda, at maginhawa para sa buong industriya. Ang kuwento ay eksakto ang uri ng bagay na pinapayagang hindi paniwalaan.