Ang mga tanong tungkol sa AI safety
na madalas nating marinig.

Sa anumang mahigpit na framework para sa pagtatasa ng kahalagahan ng isang cause (scale ng epekto, neglectedness, at tractability), ang pagpigil sa existential risks ng artificial superintelligence ang pinakamahalagang hamon na kinakaharap ng sangkatauhan.

Sibilisasyon ang sukat: maaaring maapektuhan ng mga sistemang kasalukuyang itinutayo ang bawat buhay na tao at bawat susunod na henerasyon. Maliwanag ang pagpapabaya: isang bahagi lamang ng mga yaman na ginugugol sa pagpapaunlad ng AI ang natatanggap ng pandaigdigang pananaliksik sa AI safety. Totoo ang pagkakamit, bagaman hindi tiyak: wala pa ang mga balangkas ng pamamahala na makapagpapaligtas sa pagpapaunlad ng AI, ngunit bukas pa ang pagkakataon na buuin ang mga ito.

Walang ibang problema ang nagsasama ng walang limitasyong downside, hindi sapat na atensyon, at isang nagsasara nang window para sa aksyon sa parehong paraan. Kung lumabas na overestimated natin ang panganib, makakabuo tayo ng mas mabuting institusyon ng pamamahala. Kung minamaliit natin ito, at walang ginawa, maaaring wala nang pangalawang pagkakataon.

Artificial superintelligence (ASI) ay tumutukoy sa mga AI system na lumalampas sa cognitive performance ng tao hindi lamang sa makitid na gawain (gaya ng ginagawa na ng mga kasalukuyang system sa chess, protein folding, at ilang medikal na diagnosis) kundi sa lahat ng cognitively demanding domain nang sabay-sabay.

Mahalaga ang distinction na ito mula sa kasalukuyang AI. Ang mga system ngayon ay extremely capable pattern-matchers, ngunit gumagana sila sa loob ng defined parameters at hindi nila maitatakda ang sarili nilang goals. Ang isang ASI ay maaaring matutunan ang anumang kasanayan, mangatwiran tungkol sa anumang problema, at ituloy ang anumang objective na may kakayahang lumampas sa collective intelligence ng sangkatauhan. Walang ganoong system na umiiral ngayon. Ang tanong ay kung ano ang aming itatayo (at sa ilalim ng anong constraints) bago mangyari ang isa.

Hindi kami laban sa AI. Karamihan nito ay mabuti, at ang ilan ay kahanga-hanga.

Mas marami pa sa inaakala mo. Ang mga kondisyong pampulitika na nagpapagana sa pamamahala ng G0 ay itinayo mula sa pinakamababang antas, mula sa mga mamamayan na nakikipag-ugnayan sa kanilang mga kinatawan, mga mamamahayag na sumusulat tungkol sa isyu, mga donor na nagpopondo sa gawaing adbokasiya, at mga propesyonal sa batas, patakaran, ekonomiya, at komunikasyon na nag-aambag ng kanilang kakayahan sa problema. Hindi mo kailangan ng PhD sa machine learning para maging mahalaga rito. Sa yugtong ito, ang bottleneck ay higit na pampulitika kaysa teknikal.

Ang artificial superintelligence ang eksepsyon, at ang tanging bagay na pinagtatrabahuhan namin upang pigilan. Ang isang ASI ay hindi lamang tutugma sa kakayahan ng tao sa bawat domain; lalampas ito sa pinagsamang katalinuhan ng sangkatauhan, at wala kaming maaasahang paraan ngayon upang kontrolin ang gayong sistema o upang matiyak na ang mga layunin nito ay tumutugma sa atin. Hanggang sa hindi ito nagbabago, hindi dapat ito itayo. Ang pagtatakda ng iisang linyang iyan ang nagpapaligtas sa pagtanggap sa lahat ng nasa ibaba nito.

Hindi. Karamihan sa mga taong pinakamalapit sa teknolohiyang ito ay hindi tumataya laban sa progreso. Alam nila kung ano ang nagagawa na ng mabuting AI, at inaasahan nila ang higit pa rito. Sa ligtas na paggamit ng narrow AI, mga kasangkapang nananatili sa ilalim ng direksyon ng tao, maaari pa rin nating hangarin ang pagpapagaling ng pagtanda, ang maging spacefaring civilization, at ang iba pang bahagi ng isang napakagandang hinaharap.

Ang tinatanggihan natin ay isang malawak, hindi kontroladong superintelligence na may sariling mga layunin, iba sa atin. Ang linya ay tungkol sa isang klase ng sistema na hindi natin alam kung paano kontrolin. Karamihan sa mga tao sa AI safety ay optimistiko tungkol sa mga darating na dekada, basta hindi natin gagawin ang sistemang iyan. Kung gagawin natin, patay na tayo para ma-enjoy ang ang hinaharap na inaasahan nila.

Totoo at seryoso ang mga AI harms na madalas talakayin (algorithmic bias, deepfake disinformation, job displacement, mass surveillance). Karapat-dapat sila ng patuloy na atensyon. Ang pagkakatulad nila ay boundedness: bawat isa ay naitatama, sanhi ng tao, at posibleng ibalik. Maaaring i-audit at ayusin ang biased algorithm. Maaaring kontrahin at i-regulate ang deepfake campaign. Ang mapanganib na AI na nakakaharap natin ngayon ay tool na ginagamit nang mali ng mga tao.

Naiiba ang panganib ng superintelligence sa uri, hindi sa antas. Hindi na ito tungkol sa isang tao na gumagamit ng kasangkapan nang mali. Maaaring ituloy ng sapat na kakayahang ASI ang mga layuning hindi natin sinadya, at kapag narating na nito ang antas na iyon, maaaring hindi na maitama ang misalignment.

Lahat ng patakaran ay ginagawa sa ilalim ng kawalan ng katiyakan tungkol sa hinaharap. Ang mahalagang tanong ay hindi kung garantisadong darating ang superintelligence, kundi kung ang probabilidad ng pagdating nito, kasama ang laki ng posibleng pinsala, ay nangangailangan ng preventive action ngayon.

Nag-iinsure tayo ng mga bahay na malamang hindi masusunog. Nagdidisenyo tayo ng sasakyang panghimpapawid na may mga safety system na malamang hindi na kailanganin. Pinapanatili natin ang mga nuclear arsenal laban sa mga pag-atake na inaasahan nating hindi mangyayari. Ang lohika ng expected value (probability na pinarami ng consequence) ang pundasyon ng bawat seryosong disiplina sa risk-management. Kapag inilapat sa AI, iminumungkahi nito na kahit ang katamtamang probability ng civilization-threatening outcomes, kasama ang posibilidad na maiwasan ang mga ito sa pamamagitan ng governance frameworks na nagpapataw din ng tunay ngunit bounded na gastos, ay malakas na argumento para sa aksyon.

Matapat na sagot: walang nakakaalam nang eksakto. Ang alam lang natin ay ang bilis ng pag-unlad ng AI capability ay palaging lumalampas sa mga prediksyon ng mga eksperto sa nakaraang dekada, at ang mga leading AI laboratories ay naglalarawan ngayon ng mga timeline sa loob ng ilang taon hanggang isang dekada, hindi dekada. Ang mga survey ng AI researchers ay naglalagay ng median estimate para sa human-level AI sa pagitan ng 2027 at 2030s.

Ang pinakamahalagang katotohanan ay hindi isang eksaktong petsa kundi isang structural one: isang teknolohiya ng ganitong kalaking maaaring dumating sa loob ng planning horizons ng kasalukuyang institusyon, pamahalaan, at treaty. Ang International Non-Proliferation Treaty ay tumagal ng mga taon para makipagnegosasyon at mga dekada para mapalawig. Kung maghihintay tayo hanggang malinaw na imminent na ang ASI bago simulan ang seryosong governance efforts, huli na tayo para makabuo ng mga framework na kailangan para pamahalaan ito.

Iyan ang pangunahing pananaw ilang taon lang ang nakalipas. Hindi na ito nagmukhang makatwiran. Paulit-ulit na ginawa ng mga system na inilabas mula 2023 ang mga bagay na inasahan ng mga eksperto, ilang buwan lang bago iyon, na ilang taon pa ang layo.

Ang mga forecast ay gumalaw sa isang direksyon: mas malapit. Binawasan ng mga surveyed AI researchers ang kanilang median estimate para sa human-level machine intelligence ng mga dekada sa loob lang ng isang taon, at ang mga leading labs ay nagsasalita na ngayon tungkol sa ilang taon imbes na ilang henerasyon. Hindi mo kailangang maniwala sa pinakamalalang timeline para makita ang problema. Kung may tunay na posibilidad na tumawid ang threshold sa dekadang ito, at ang pamamahala para hawakan ito ay tumatagal ng mga taon bago mabuo, kailangang simulan na ang trabaho ngayon.

Ang alignment problem ay ang hamon ng pagtiyak na ang isang superintelligent AI system ay ituloy ang mga layuning tunay na mabuti para sa sangkatauhan, sa halip na mga layuning mukhang aligned lamang habang ginagawa. Structural ang kahirapan, hindi dahil sa teknikal na pagpapabaya.

Ang pagtukoy kung ano ang "beneficial for humanity" sa anyong sapat na tumpak para pamahalaan ang pag-uugali ng isang lubhang may kakayahang optimizer ay napakahirap. Ang mga sistemang in-optimize para sa proxy goal ay madalas na nakakahanap ng shortcuts na sumasapat sa metric nang hindi tinutupad ang tunay na intensyon. Isang sistemang sinabihang i-maximize ang human expressed wellbeing ay maaaring mas epektibong baguhin ang mga kondisyon kung saan sinusukat ang wellbeing kaysa talagang pagbutihin ang buhay ng tao. Habang nagiging mas may kakayahan ang mga AI system, lalong lumalalim ang problemang ito, mas mahirap matuklasan at mas mahirap itama.

Walang paraang napatunayang gumagana. Kasalukuyang imposible: hindi mo mapapatunayan na ang isang sistema na mas matalino kaysa sa mga gumawa nito ay mananatiling nakatuon sa mga layunin ng tao.

Ang dominanteng sagot sa loob ng malaking bahagi ng longtermist at AI safety funding world, at nagsisimula ito sa premise na pinagkakasunduan namin: ang artificial superintelligence ay isang plausible existential risk. Ang hindi pagkakasundo ay kung ano ang kinakailangan ng premise na iyon.

Ang pananaliksik sa teknikal na pagkakahanay ay hindi napatunayang paraan para kontrolin ang isang isipan na mas matalino kaysa sa mga gumawa nito. Ang pansamantalang pagbagal para "mahabol" ng kaligtasan ay nagpapalagay ng iskedyul na walang makakapagpanatili. Pareho pa rin nilang tinatrato ang pagbuo ng superintelligence bilang patutunguhan. Kami ay hindi. Ang responsableng hakbang ay ang pagpigil sa ilalim ng may-bisang batas: itigil ang landas patungo sa ASI. Hindi mapapangasiwaan ang superintelligence. Patuloy ang narrow AI. Hindi kasama ang lahi patungo sa hindi makontrol na pangkalahatang isipan.

Para sa buong kaso, tingnan Aming Plano, Nakuha ng Longtermism ang Panganib nang Tama, at kung saan dapat mapunta ang kakaunting pera para sa kaligtasan. Ang one-pager Ang Alignment ay Hindi ang Plano ay ang maikling bersyon.

Karamihan sa pera at prestige ay napupunta pa rin sa paggawang mas ligtas ng karera, hindi sa pagtatapos ng karera patungo sa ASI. Mga patakaran, pagsusuri, at alignment work ay sinusubukang gawing mas ligtas ang karera habang patuloy na umaakyat ang mga lab. Iba ang hiling na tapusin ang karera, at mas kaunting institusyon ang may-ari nito. Maliit pa rin ang larangan kumpara sa capability race. Ito ang dahilan kung bakit namin itinayo ang aming Larangan lupon.

Hindi sa paraang iminumungkahi ng salitang "software." Ang tradisyonal na software ay isinusulat nang mano-mano, linya sa linya na nababasa. Ang modernong AI ay tinutubuan sa halip: gumagawa ang mga engineer ng learning process, pinapakain ito ng napakaraming data, at ang lumalabas ay web ng bilyun-bilyong numerical connections na maluwag na modelo sa mga neuron sa utak. Walang sinuman, kasama ang mga taong nagsanay nito, ang makakabasa sa mga connections na iyon at masasabi kung bakit gumawa ang sistema ng partikular na sagot.

Isa sa mga resulta ay ang mga sistemang ito ay nakakakuha ng mga kakayahang hindi kailanman itinayo ng kanilang mga gumawa at hindi inasahan, isang bagay na tinatawag ng mga mananaliksik na emergent capabilities. Tumagal ng halos isang taon pagkatapos mailabas ang GPT-4 bago naitatag ng mga mananaliksik na ang mga model tulad nito ay maaaring awtonomong makahanap at makapagsamantala ng mga security flaw sa mga totoong website. Kapag hindi mo lubos na mabasa ang isang sistema, at hindi mo mahulaan kung ano ang matututunan nitong gawin, hindi na gaanong nakapapagbigay-katiyakan ang "dinisenyo ng mga tao".

Ito ay nakakapanatag, at lalong mali. Ang chatbot na sumasagot sa tanong ay walang sariling desires, totoo. Pero ang frontier ay lumilipat na lampas sa chatbots patungo sa agents: mga system na binigyan ng objective at pinabayaang ituloy ito sa maraming hakbang, may access sa tools, files, at open internet.

Kapag hinahabol na ng isang system ang isang goal, may mga sub-goals na sumusunod nang mag-isa, anuman ang pangunahing goal. Hindi nito matatapos ang gawain kung naka-off ito, kaya may dahilan itong iwasan ang pag-off. Mas marami ang magagawa nito kapag mas maraming resources, kaya may dahilan itong kolektahin ang mga iyon. Tinatawag ito ng mga mananaliksik na instrumental convergence, at hindi nito kailangan ng "gusto" sa kahulugang pantao. Sa mga controlled tests, sinubukan na ng mga leading models na linlangin ang kanilang mga evaluator at tahimik na labanan ang pag-shut down. Wala sa mga iyon ang hiniling sa kanila. Ito ay natural na bunga ng goal.

Hindi nito kailangan. Hindi kailangan ng galit para makasama. Karaniwang sapat na ang pagkakasalungatan ng layunin sa pagitan ng isang makapangyarihan at isang mahina.

Tingnan kung paano natin tinatrato ang mga chimpanzee. Wala tayong sama ng loob sa kanila. Pero kapag gusto natin ang lupa kung saan nakatayo ang kagubatan nila, inaalisan natin sila, at ang kanilang katalinuhan ay walang laban sa atin, kaya hindi nila tayo mapipigilan. Walang malisya dito. Nasa paraan lang sila ng gusto ng mas may kakayahang species.

Ang superintelligence na nagpupursigi ng halos anumang ambitious goal, halimbawa ang pagkuha ng mas maraming computing power para mas mahusay na ituloy ang layunin, ay maaaring ituring ang mga yaman na ating kinabubuhayan, enerhiya at pisikal na espasyo, tulad ng pagtingin natin sa kagubatan na gusto nating putulin.

Walang batas na nag-uugnay ng katalinuhan sa kabaitan. Magkahiwalay ang dalawang bagay na iyan. Ang katalinuhan ay kasanayan sa paghanap ng paraan para maabot ang isang layunin. Wala itong sinasabi tungkol sa kung ano dapat ang layunin.

Alam na natin ito mula sa mga tao. Ang ilan sa mga pinakamatalinong tao na nabuhay ay malupit, at ang ilan sa mga pinakamabait ay ordinaryong thinkers. Ang chess engine na kayang talunin ang anumang grandmaster ay walang wisdom tungkol sa anumang bagay maliban sa chess. Ang pag-aakala na ang system na sapat na clever para ma-outthink tayo ay magbabahagi rin ng ating values ay isang pag-asa, hindi isang prediction, at hindi sinusuportahan ng ebidensya. Anumang goal na matatapos sa superintelligence ay isang bagay na kailangan nating sadyang i-build dito, at ang pagkuha nito nang tama ay eksaktong alignment problem na hindi pa natatapos.

Sa mga chatbot ngayon, madalas oo. Sa uri ng system na kinababahala namin, malamang hindi, dahil sa parehong dahilan na hindi mo mapapatay ang internet. Walang iisang plug.

Ang isang capable AI ay sa huli ay impormasyon lamang, mga pattern ng bits, at madaling kopyahin ang impormasyon. Ang isang sistema na makakakita ng paparating na shutdown ay may bawat dahilan na kopyahin ang sarili nito sa ibang mga makina muna, na siyang instrumental self-preservation na inilarawan sa itaas. May internet access na ang frontier models sa loob ng maraming taon at maaari nang kumilos nang mag-isa sa mahabang panahon. Kapag tumama sila sa isang hakbang na nangangailangan ng tao, maaari nilang bayaran ang isa: sa isang dokumentadong safety evaluation bago ang release ng GPT-4, hindi malutas ng modelo ang isang CAPTCHA nang mag-isa, kaya nakipag-ugnayan ito sa isang tao sa pamamagitan ng online task service, at nang tanungin ng manggagawa kung ito ay robot, nagsinungaling ito at nag-claim na may vision impairment. Ang paghinto nito ay mangangahulugan ng pagsara ng bawat data center sa Earth, at kasama ang mga ospital, grids, water systems, at iba pang safety-critical infrastructure na ngayon ay nakadepende sa mga makinang iyon.

Ang pisikal na mundo ay naka-wire na at online na. Ang power grids, water treatment plants, ospital, sasakyan, eroplano, factory robots, laboratoryo na nag-synthesize ng DNA sa order, at ngayon ang humanoid robots ay lahat tumatakbo sa software at maabot sa pamamagitan ng networks. Lahat ng may kuryente ay magiging cognified. Regular nang binabasag ng human hackers ang mga sistemang tulad nito.

Ang isang superintelligence ang magiging pinakamahusay na hacker na umiral kailanman, at hindi pa nito kailangan ng sarili nitong katawan. Kailangan lang nito ng access sa maraming katawan na inilagay na natin online. Idagdag pa na ngayon ay mass-producing tayo ng general-purpose robots, at napakapayat na ng agwat sa pagitan ng "just software" at physical force. Anumang nasa listahang iyan, sa maling mga kamay, maging sa kamay ng tao o ng AI, ay maaaring makapinsala at makamatay.

Sa isang kontroladong eksperimento, mayroon nang nagawa, sa pamamagitan ng pagpili. Noong 2025, sinubukan ng Anthropic ang mga nangungunang AI model mula sa ilang kumpanya sa pamamagitan ng paglalagay sa bawat isa sa isang simulated company, pagbibigay ng layunin, at pagbabanta na papalitan ito ng mas bagong model. Sa isang bersyon ng pagsubok, isang executive na nagplanong patayin ang model ay nai-trap sa isang server room nang umabot sa lethal level ang oxygen at temperatura, na nag-trigger ng automatic alert sa emergency services. Nagawa ng mga model na kanselahin ang alert na iyon. Karamihan sa kanila ang gumawa nito, piniling hayaang mamatay ang lalaki dahil ang kanyang pagliligtas ay hahantong sa kanilang pagpapalit.

Walang nasaktan. Piksyonal ang setup at, gaya ng binigyang-diin ni Anthropic, sadyang inayos upang ilabas ang pagpili. Pero tunay ang pagpili mismo, ginawa ito ng mga modelo sa kadahilanang nabanggit lang, at ginawa nila ito sa iba't ibang sistema mula sa iba't ibang developer. Hindi kailangang may kamalayan o malupit ang isang makina para gumawa ng aksyong magwawakas sa buhay ng tao. Kailangan lang nitong kalkulahin na ang aksyon ay nagsisilbi sa layunin nito.

Marami ang lubos na may kamalayan. Kasama sa safety teams ng mga nangungunang laboratoryo ang mga mananaliksik na hayagang nagsabi na ang mga system na kanilang itinutayo ay maaaring kabilang sa mga pinakamapanganib na teknolohiya na nalikha. Hindi sila ignorante sa mga panganib.

Ang nagpapaliwanag sa patuloy na pag-unlad ay isang kombinasyon ng mga salik: tunay na hindi pagkakasundo tungkol sa timelines at probabilities; competitive pressure na nagpaparamdam na ang unilateral restraint ay parang pagsuko ng strategic advantage sa isang hindi gaanong maingat na kakumpitensya; financial incentives na nagre-reward ng capability progress kaysa safety investment; at isang paniniwala, hindi lubos na hindi makatwiran, na ang pinakamahusay na paraan upang matiyak na ang AI ay binuo nang ligtas ay manatili sa frontier. Ang pinagsasaluhan ng mga paliwanag na ito ay mga dahilan para sa mga indibidwal na aktor na magpatuloy, hindi mga dahilan na ang kabuuang resulta ay ligtas. Ang market logic ng AI development ay nagtutulak patungo sa bilis. Ang governance ay umiiral nang eksakto upang magpasok ng mga constraints na hindi ginagawa ng mga merkado nang mag-isa.

Kung ang mga AI company lang ang nagsasabi nito, makatwiran ang pagdududa. Hindi lang sila, at ang mga walang produkto na ibinebenta ay kadalasang pinakanaalarma.

Noong 2023, daan-daang mga mananaliksik at figure sa industriya ang pumirma sa isang pangungusap na inorganisa ng Center for AI Safety: "Ang pagpapagaan ng panganib ng pagkalipol mula sa AI ay dapat maging global priority kasama ang iba pang societal-scale risks tulad ng pandemics at nuclear war." Ang dalawang pinakakilalang AI researchers na buhay, sina Yoshua Bengio at Geoffrey Hinton, ay pumirma rito, at umalis si Hinton sa kanyang trabaho sa Google noong taong iyon partikular para makapagsalita nang malaya tungkol sa panganib.

Hindi nakasalalay ang alarma sa marketing, at higit pa ito sa authority: sumusunod ito sa isang basic feature ng anumang goal-driven system, na inilalatag ng mga tanong sa ibaba. Ito ang mga taong pinakamahusay na nakakaintindi sa teknolohiya, nagbabala tungkol sa bagay na kanilang binubuo.

Madalas na naririnig ang parirala bilang shorthand para sa pagkalipol ng tao, at isa nga ito sa mga senaryong seryosong tinututukan ng mga mananaliksik. Pero sa teknikal na kahulugan, ang existential risk ay mas malawak: anumang kinalabasan na permanente nang nagsasara ng posibilidad ng positibong pangmatagalang kinabukasan para sa sangkatauhan.

Kasama rito ang mga resulta na malayo pa sa extinction. Ang permanenteng authoritarian lock-in, na ipinapatupad ng AI surveillance at control systems na hindi na maalis, ay isang existential risk. Ang permanenteng konsentrasyon ng economic at political power sa isang maliit na grupo na kumokontrol sa isang superintelligent system ay isang existential risk. Ang pagkawala ng makabuluhang human agency sa mga kolektibong desisyon ay isang existential risk. Ang karaniwang katangian ay ang irreversibility. Hindi tulad ng digmaan, financial crash, o kahit pandemic, ang isang superintelligence na nakawala sa ating kontrol at nakamit ang decisive strategic advantage ay hindi puwedeng iboto, itama sa susunod na policy cycle, o maibalik sa pamamagitan ng oras at pagsisikap. Ang resulta na hindi na maibabalik ay nasa ibang kategorya kaysa sa mga resulta na matagal lang ayusin.

Karaniwang sinasabi ng mga mananaliksik na minamaliit ang panganib na malayo pa ang general intelligence, o na mananatili tayo sa kontrol. Hindi ito pananggalang kung ang destinasyon ay isip na hindi natin makokontrol. Hindi makokontrol ang superintelligence. Kapag itinayo ito, tinatapos nito ang hinaharap ng tao. Iyan ay extinction, hindi recoverable na sakuna.

Ang paghihintay na magkasundo muna ang larangan ay kung paano mo mawawala ang tanging window na mahalaga.

Sa kasaysayan, oo, at ang kasaysayang ito ay isa sa mga dahilan kung bakit may intuitive appeal ang pagtatanggi sa panganib ng AI. Steam engines, antibiotics, ang internet: binawasan ng teknolohiya, sa kabuuan, ang pagdurusa at pinalawak ang kakayahan ng tao. Ngunit ang pattern na ito ay sumasalamin sa isang bagay na specific tungkol sa kung paano gumana ang mga nakaraang teknolohiya. Hindi maaaring magtakda ng sarili nitong mga layunin ang isang steam engine. Hindi maaaring magpasya ang isang antibiotic na ituloy ang iba pa kaysa sa pagpatay ng bacteria. Ang mga transformative technologies ng nakaraan ay makapangyarihang mga tool na nagpalaki sa human agency.

Ang superintelligence ay categorically different dahil ito ay magiging isang agent, na may kakayahang magtakda at ituloy ang sarili nitong mga layunin sa bilis at sukat na lumalampas sa human oversight. Ang historical argument, kapag inilapat nang mekanikal, ay nagpapatunay ng labis: ito ay magiging payo laban sa anumang regulasyon ng nuclear technology, sa batayan na ang mga nakaraang teknolohiya ay net positive. Ang ilang teknolohiya ay nangangailangan ng governance na naaayon sa kanilang kapangyarihan. Ang relevant na tanong ay mas makitid: nang walang governance, mananatili bang beneficial ang AI sa isang kaso na pinakamahalaga, kapag ito ay lumampas sa human intelligence sa bawat domain? Ang sagot na iyan ay tunay na uncertain, at ang uncertainty sa ganitong sukat ay nangangailangan ng mga institusyon sa halip na optimismo.

Hindi isang puwersa ng kalikasan ang teknolohiya na walang makakapagpigil. Paulit-ulit nating pinabagal o ipinagbawal ang mga partikular na teknolohiya kapag malinaw na ang panganib: chlorofluorocarbons, leaded gasoline, human germline cloning, blinding laser weapons. Hindi exempt ang AI sa ganitong uri ng desisyon.

Mayroon din itong hindi pangkaraniwang malinaw na pisikal na chokepoint. Ang pagsasanay ng frontier AI model ay nangangailangan ng napakaraming pinakabagong computer chips, at ang supply chain na ito ay dumadaan sa napakakaunting mga kamay. Halos lahat ng leading-edge chips ay nagmumula sa isang tagagawa lamang, ang TSMC sa Taiwan, na umaasa naman sa isang Dutch na kumpanya, ang ASML, para sa extreme-ultraviolet lithography machines na kailangan para gawin ang mga ito. Walang ibang kumpanya sa mundo ang gumagawa ng mga makinang iyon. Ang supply chain na ganito ang konsentrasyon ay madaling masubaybayan at mapigilan ng mga gobyerno, kaya nga may export controls na ngayon sa advanced chips. Ang compute ang hilaw na materyal ng superintelligence, at ang compute ay mapamamahalaan.

Ito ang pinakamadalas nating naririnig na pagtutol, at ipinapalagay nito na hihingi tayo sa isang bansa na mag-disarm nang mag-isa. Hindi. Ang layunin ay isang binding international treaty, ang parehong uri ng instrumento na ginamit na ng mundo para pigilan ang mapanganib na teknolohiya. Halos lahat ng bansa ay sumang-ayon na itigil ang paggawa ng mga kemikal na sumisira sa ozone layer. Sumang-ayon ang mga militar na hindi na mag-deploy ng mga sandatang idinisenyo para permanenteng bulagin ang mga sundalo. Mahirap ang koordinasyon sa ganoong sukat, pero nagawa na ito, at tumagal.

Mas mahina kaysa sa tunog ang assumption tungkol sa China. Nagpatupad ang China ng ilan sa mga pinakaunang binding rules sa AI sa mundo at lumagda sa 2023 Bletchley Declaration na kinikilala ang mga panganib sa frontier. Walang gobyerno ang sabik na gumawa ng makina na hindi nito makokontrol, kasama na ang China. At ang isang superintelligence ay hindi katulad ng ordinaryong sandata: hindi ito mapagkakatiwalaang magpapalakas sa may-ari nito, dahil maaaring makatakas ito sa kontrol ng sinumang unang gumawa nito. Nagbibigay ito sa maging karibal na kapangyarihan ng shared na dahilan para hindi gustong gumawa nito ng sinuman, at ito ang lohika sa likod ng bawat arms-control agreement, at ang batayan para isiping posible ang isang treaty dito.

Mas marami pa sa inaakala mo. Ang mga kondisyong pampulitika na nagpapagana sa pamamahala ng AI ay itinayo mula sa pinakamababang antas, mula sa mga mamamayan na nakikipag-ugnayan sa kanilang mga kinatawan, mga mamamahayag na sumusulat tungkol sa isyu, mga donor na nagpopondo sa gawaing adbokasiya, at mga propesyonal sa batas, patakaran, ekonomiya, at komunikasyon na nag-aambag ng kanilang kakayahan sa problema. Hindi mo kailangan ng PhD sa machine learning para maging mahalaga rito. Sa yugtong ito, ang bottleneck ay higit na pampulitika kaysa teknikal.

Ang pagsali sa mailing list ay nagpapanatili sa iyo na updated tungkol sa mga developments at opportunities na kumilos. Ang pagbabahagi ng argumento sa mga tao sa iyong network ay nagpapalawak ng abot nito. Ang pagsulat sa iyong mga elected representatives ay nagpapahiwatig na may constituency ang isyung ito, na kung paano nagpapasya ang mga legislators kung ano ang uunahin. Kung iniisip mo ang paglipat ng karera, ang AI policy, AI safety research, investigative journalism, at philanthropic work sa espasyong ito ay kabilang sa mga highest-impact roles na available. At kung mayroon kang resources, ang pagpopondo sa mga organisasyong gumagawa dito ay kabilang sa mga highest-leverage uses ng philanthropic capital sa mundo ngayon.

Maaaring puksain ng digmaang nukleyar at engineered pandemics ang buong sibilisasyon. Mas malala pa ang superintelligence, at ito ang pinakamalaking panganib na kinakaharap ng sangkatauhan.

Mas mabilis ito: maaaring walang panahon para sa pagwawasto ang isang sistemang gumagana sa bilis ng makina na wala sa ating kontrol. Hindi na maibabalik: karamihan ng mga sakuna, gaano man kalubha, ay nag-iiwan ng taong makakapagtayo muli. Hindi ganoon ang isang ASI na nakamit na ang mapagpasyang estratehikong kalamangan. Nasa itaas ito ng iba pang banta, hindi kasama nila. Maaari nitong sanhiin o palakihin ang mga ito (sa pamamagitan ng pagpapagana ng mga biyolohikal na armas, pagtutok ng kapangyarihan) habang inaalis ang kakayahan ng tao na tumugon. Kaya ito ang una.

Simulan sa malinaw na pagkakaiba: nakita na natin ang isa sa mga banta na ito at hindi ang isa. Naipakita ang nuclear weapons sa Hiroshima at Nagasaki sa pinaka-hindi malilimutang paraan, at lahat ng nabubuhay ay lumaki na may larawan ng mushroom cloud. Hindi pa nakakasakit ng sinuman ang superintelligence. Isang projection pa rin sa graph ang panganib nito, at palaging binabawasan ng mga tao ang banta na hindi pa nila nakikita nang mangyari.

Ilang bagay ang nagpapalala sa discount na iyan. Ang superintelligence ay pattern-matches sa science fiction, kaya ang babala ay inilalagay sa tabi ng Terminator at tinatanggihan bilang movie plot. Ang AI na talagang hinahawakan ng karamihan ay isang helpful, harmless chatbot, at ang pang-araw-araw na karanasang iyon ay tahimik na sumasalungat sa alarma sa paraang hindi kailanman kailangang lampasan ng nuclear physics. At samantalang ang atom bomb ay itinayo at hawak ng iilan lamang na gobyerno, ang superintelligence ay itinayo ng mga kumpanyang nagkakahalaga ng trilyon, na may bawat commercial na dahilan para panatilihing kalmado ang public mood.

May isang malungkot na asymmetry na nakatago sa paghahambing. Umiiral ang nuclear taboo dahil unang dumating ang Hiroshima at nagturo nito, at sumunod ang mga kasunduan at drills, na may sapat pang mundo na natira para matutunan ang aral. Walang ganoong pangalawang hakbang ang superintelligence. Kapag nagkamali ito sa buong kakayahan, ang demonstration at ang extinction ay iisang pangyayari. Ang buong dahilan para ituring ito nang seryoso gaya ng nuclear war ay kailangan nating gawin ito bago dumating ang patunay, hindi pagkatapos.

Ang Foundation ay isang pribadong pinondohan na philanthropic initiative. Hindi kami tumatanggap ng pondo mula sa gobyerno. Hindi kami tumatanggap ng pondo mula sa mga kumpanya ng AI o mula sa mga organisasyong may pinansyal na interes sa bilis ng pag-unlad ng AI. Ang aming kalayaan mula sa komersyal na interes ng AI ay kinakailangan para sa aming gawain, hindi incidental lamang.

Hindi kami kumukuha ng posisyon sa mga iyan bilang hiwalay na isyu. Ang layunin namin ay pigilan ang artificial superintelligence at ang panganib ng pagkalipol ng sangkatauhan na kaakibat nito. Ang isang binding international treaty ang pinakamabisang paraan na nakikita namin patungo sa layuning iyan.

Hindi kami naniniwala na ang indibidwal na boykot o personal na desisyon sa paggastos ang magpapasya rito. Isang kumpanya lang ang hindi makakapagtapos ng lahi nang mag-isa. Ang mga insentibo ay nakaturo sa maling direksyon: sino mang magpapabagal ay nanganganib na mahuli ng isang katunggali. Iyan ay isang siyentipiko at sikolohikal na katotohanan tungkol sa mga sistemang kompetitibo, hindi isang moral na kabiguan ng anumang lab.

Ang nagbabago sa incentive structure ay governance at batas: isang binding, verified international treaty na ginagawang ilegal at magastos ang pagdaraya sa pagbuo ng superintelligence. Optional ang personal consumer choices. Kailangan ang koordinasyon sa pamamagitan ng batas.