Ito'y isang di - komportableng ehersisyo, malalaking kapahamakan. Ang bawat isa sa mga ito ay maaaring pumatay sa isang aspeto na gumagawa sa salitang "disaster" na pakiramdam ay maliit, at ang pag-aayos nito ay maaaring tila isang pag-aangkin na ang mga mas mababa ay hindi mahalaga. Ang digmaang nuklear at mga epidemyang ginawa ay kabilang sa pinakamasamang bagay na maaaring mangyari sa atin, at ang mga taong nagsisikap na hadlangan ang mga ito ay gumagawa ng ilan sa pinakamahalagang gawain doon.
I-rank sila nang tapat at lalabas ang superintelligence sa itaas, hindi dahil maliit ang iba, kundi dahil ito lang sa tatlo ang nagpapabuti sa sarili, lumalaban sa bawat countermeasure na itinataas natin laban dito, at walang second attempt.
Pero may hangganan ang atensyon at pera, at hindi pantay na ipinamamahagi ng mundo ang mga ito sa bawat banta. May nagpapasya kung ano ang makakakuha ng kasunduan, ahensya, linya sa badyet, o kilusan. Kung ang mga desisyong iyon ay susunod sa tunay na panganib at hindi sa panganib na pinakamadaling isipin, kailangang gawin ang pagraranggo, at gawin nang malakas. Kaya: sa mga teknolohiyang maaaring magwakas sa sangkatauhan sa siglong ito, alin ang pinakamalaki? Ang sagot ay superintelligence, at hindi ito malapit sa iba pa.
Kung ano ang dapat ibig sabihin ng "greatest"
Hindi lang tungkol sa kung gaano kasama ang pinakamasamang kaso ang isang panganib. Ang meteor na magpapasingaw sa planeta ngunit may isang pagkakataon sa isang trilyon na dumating ay mas maliit na panganib kaysa sa apoy na may 50-50 na pagkakataong sunugin ang bahay mo, kahit na hindi kayang tapusin ng apoy ang mundo. Para matapat na ihambing ang tatlong ito, kailangan mong hawakan nang sabay ang tatlong tanong.
Gaano kasama ang pinakamasamang realistic na resulta? Gaano kalamang ang resultang iyan sa loob ng makabuluhang panahon? At (ang tanong na madalas na nalilimutan) kung magsisimula itong magkamali, kaya pa ba nating pigilan? Ang huli ang gumagawa ng karamihan sa trabaho dito, at dito nagkakaiba ang tatlo.
Ang pinakamaingat na pagtatangka ng sinuman na maglagay ng numero rito ay mula sa pilosopong si Toby Ord na Ang Precipice, na inilathala noong 2020, na nag-e-estimate ng tsansa na ang bawat panganib ay magdudulot ng existential catastrophe (extinction, o isang pagbagsak na hindi na natin maibabalik) sa susunod na isang daang taon. Ang mga bilang niya ay ang disiplinadong paghatol ng isang taong gumugol ng mga taon sa pagbabasa ng literatura at pakikipag-usap sa mga espesyalista sa bawat larangan, hindi mga sukat; walang makakasukat ng bagay na hindi pa nangyayari. Ito ang pinakamahusay na structured na hula na mayroon tayo, at ang hugis nito ang mahalaga.
| Panganib | Tinataya ni Ord |
|---|---|
| Digmaang nuklearSakuna na halos hindi maisip, pero (kahit sa buong palitan at ang taglamig na sumunod) karamihan sa mga tantiya ay hindi umaabot sa literal na pagkalipol ng sangkatauhan. | ~1 sa 1,000 |
| Mga pandemya na ginawaMas mahirap pigilan ang isang pathogen na sadyang ginawa para sa lethality at spread kaysa sa anumang natural outbreak, at patuloy na nagiging mura ang mga tool para gumawa nito. | ~1 sa 30 |
| Hindi nakahanay na artipisyal na katalinuhanAng pinakamalaking panganib sa accounting ni Ord, mas malaki kaysa sa lahat ng natural at iba pang human-made hazard sa kanyang list na pinagsama. | ~1 sa 10 |
Ang nuclear war, ang panganib na humubog sa modernong imahinasyon ng apocalypse, ay nasa halos isa sa isang libo. Ang engineered pandemics, banta na seryosong naisip lang ng karamihan simula 2020, ay higit sa tatlumpung beses na mas mataas. At ang unaligned AI ay isang order of magnitude pa sa itaas nito iyan, humigit-kumulang isa sa sampu, at ayon kay Ord ay mas malaki pa ito kaysa sa lahat ng iba pa sa listahan na pinagsama-sama. Ang panganib na hindi tayo handang pag-usapan ay ang una sa kanyang mga numero nang may malaking pagkakaiba.
Nuclear weapons: napakalaki, at halos nasa tuktok na nito
Magsimula sa pinakamainam nating nauunawaan. May mga labindalawang libong nuclear warhead ngayon, karamihan ay hawak ng United States at Russia. Ang buong palitan ay papatay ng daan-daang milyong tao sa mga unang oras at, sa pamamagitan ng usok at paglamig na inilalarawan ng modernong pag-aaral sa Nature Food tinatayang maaaring sumunod, naglalagay ng bilyun-bilyon pang tao sa panganib ng gutom. Ito ang pinakamalapit na bagay sa impiyerno na nalikha ng inhinyeriya ng tao.
At gayon pa man, kapag tinimbang laban sa pamantayan ng pagwawakas sa sangkatauhan nang buo, ang nuclear war ay may kakaibang katangian: ito ay halos kasing sama ng maaari nitong maging. Ang mga arsenal ay hindi lumalaki patungo sa bagong antas ng destructiveness; umabot ang peak nito sa halos pitumpung libong warheads noong 1980s at bumaba na mula noon. Ang isang bomba ay hindi gumagawa ng higit pang bomba. Hindi ito natututo. Hindi ito pumipili ng target. Bawat nuclear catastrophe ay nangangailangan ng isang tao, sa isang lugar, na magdesisyon, o mabigo, at ang iisang katotohanang iyan ang hook kung saan nakasabit ang walumpung taon ng pag-iwas.
Dahil nananatili pa rin ang panganib, nagawa naming magtayo ng isang scaffolding sa paligid nito: ang Non-Proliferation Treaty, ang test-ban rehimens, arms-kontrol na mga kasunduan na pinatutunayan ng pagsisiyasat, hotlines, mga dekada ng doktrina ng hard-won tungkol sa kung paano hindi matitisod sa pagkalipol. Di - sakdal ang mga patungan. Isa itong panganib na may kisame, na nakatuon sa isang target na hindi kumikilos, na pinangangasiwaan ng isang sistema na ginugol natin habang - buhay sa pagtatayo. Iyan ang dahilan kung bakit, sa kabila ng lahat ng kakilabutan nito, ito ay nasa ilalim ng tatlo.
Engineered pandemics: mas mahirap pigilan, nananatiling passive pa rin
Umakyat ng isang baitang. Masama na ang natural na pandemic, ang 1918 influenza ay pumatay ng halos limampung milyong tao sa mundo na mas mababa sa isang katlo ng kasalukuyang laki. Pero sa isang madilim na kahulugan, hindi sinusubukan ng kalikasan. Ang engineered pathogen ang susubok. Kunin ang transmissibility ng tigdas at ang lethality ng hemorrhagic fever, alisin ang tradeoff na karaniwang ipinapataw ng evolution sa dalawa, at mayroon kang sandata na walang natural na kisame na naglilimita sa arsenal.
Ito ang dahilan kung bakit inilalagay ni Ord ang engineered pandemics nang higit sa tatlumpung beses kaysa sa nuclear war. Ang Biological Weapons Convention ay nagbabawal sa mga sandata na ito mula pa noong 1975, ngunit hindi tulad ng nuclear counterpart nito ay walang inspectors at walang ngipin, at ang biology na sinusubukang pigilan ay nagiging mas mura at accessible bawat taon. Ang isang sakuna dito ay hindi nangangailangan ng superpower at isang libong warheads. Maaaring kailanganin lamang ng isang laboratoryo at isang tao na hindi dapat nagkaroon ng kakayahang iyon.
Pero hawakan mo pa rin ang kung ano ang pathogen pa rin ay. Ito ay passive. Kakila-kilabot, walang isip, at passive. Hindi nagpaplano ang isang virus. Hindi nito inaasahan ang bakuna at muling dinidesenyo ang sarili nito sa linggo bago natin ito matapos. Hindi nito iniisip ang mga taong nanghuhuli dito at gumagawa ng mga hakbang para manatiling nakatago. Kumakalat ito sa blind gradient na ibinibigay ng biology, at laban dito ay maaari nating dalhin ang bawat kalamangan ng isang thinking species: sequencing, bakuna, quarantine, ang naipong makinarya ng public health. Maaaring matalo tayo sa karera. Pero ito ay isang karera laban sa isang bagay na buo ng agwat sa pagitan ng pangalawang baitang at unang baitang, hindi tumatakbo, kumakalat lamang.
Superintelligence: ang bumabalik
Ngayon ang nasa tuktok ng listahan, at ang dahilan kung bakit ito naroon. Ang isang misaligned superintelligence ay isang iba't ibang uri ng bagay: isang agent, hindi isang mas malaking bomba o mas matalinong mikrobyo. Mayroon itong mga goals, o eksaktong kumikilos na parang mayroon. Kayang i-modelo nito ang mga taong sinusubukang pigilan ito, asahan ang kanilang mga galaw, at kumilos para talunin sila. Lahat ng iba pang item sa pahinang ito ay nakatigil habang binubuo namin ang aming mga depensa. Ito ang nagmamasid sa amin habang binubuo namin ang mga ito at nag-iisip kung paano lalampasan ang mga ito.
Ang pinakamatibay na bunker sa mundo ay hindi ka ililigtas mula sa ASI.
Naoto Nakada
Ihanay ang tatlo sa mga tanong na talagang nagpapasya kung ang isang sakuna ay magiging wakas, at malinaw ang larawan.
| Nuklear | Biyolohikal na sandata | Napakataas na Katalinuhan | |
|---|---|---|---|
| Maaari bang mapabuti nito ang sarili? | Hindi | Hindi | Oo |
| Gumagawa ba ito laban sa ating mga countermeasures? | Hindi | Hindi | Oo |
| Maaari ba nitong lampasan ang pag-iisip ng mga taong humihinto rito? | Hindi | Hindi | Oo |
| Maaari pa bang bawiin kapag nakawala na? | Bahagyang | Bahagya | Hindi |
| May pagkakataon ba tayong matuto mula sa unang pagkabigo? | Karaniwan | Minsan | Marahil hindi kailanman |
Read down the last column. A nuclear weapon and a pathogen are static hazards we deploy our intelligence against. A superintelligence is a hazard that deploys intelligence against kami, posibleng higit pa rito kaysa sa mayroon tayo, na nakatutok mismo sa mga puntong sinusubukan nating hawakan. Kaya nitong kopyahin ang sarili nito nang lampas sa anumang pagtatangkang i-recall, mapabuti ang sarili nang mas mabilis kaysa sa ating kakayahang tumugon, at magmukhang perpekto habang sinusubok ito ngunit iba ang kilos kapag hindi na ito sinusubaybayan. Ito lang ang entry sa listahang ito na laban sa ating pinakamalaking kalamangan bilang species—ang ating katalinuhan—na hindi garantisadong mas malaki pa rin ang atin.
Nangatwiran ako sa iba pang lugar na ito ay pinakamahusay na nauunawaan bilang isang perpektong bagyo, hindi isang nakakatakot na katangian kundi lahat ng safeguard na karaniwang inaasahan nating mabigo nang sabay-sabay. Nasa isa sa sampu ang numero, hindi isa sa isang libo. Sa nuclear weapons at pandemics, bukas pa ang mga daanan palabas: maaari nating i-recall, matuto, at lampasan ang banta sa pag-iisip. Sa superintelligence, nagsasara ang mga ito nang sabay, at nagsasara dahil sinasadya itong isara ng nasa kabilang panig.
Ang dalawa pa ay maaaring pumatay sa karamihan sa atin. Ito ang isa na maaaring tapusin ang lahat, at hindi tulad ng iba, ay lalong gagaling habang sinusubukan nating pigilan.
Bakit dapat baguhin ng ranking ang ginagawa mo
Ang superintelligence din, sa napakalaking pagkakaiba, ang pinakamaliit na may depensa laban dito, hindi lang ang pinakamalaki sa tatlong panganib.
Ang mga nuclear weapons ay may non-proliferation treaty, isang international agency sa Vienna, verification regimes, at walumpung taon ng doktrina. Ang biological weapons ay may convention, kahit na walang ngipin, at isang global public-health apparatus na pinalawak ng pandemic, sa kabila ng lahat ng kabiguan nito. Pareho silang may constituency: mga taong gumugol ng karera sa mga ito, mga institusyong itinayo sa paligid nila, isang publiko na nauunawaan ang mga salita. Ang superintelligence ay halos wala nito. Walang binding treaty. Walang inspectors. Walang agency. Walang shared public picture ng banta, at hanggang kamakailan, halos walang kilusan.
Ang kombinasyong iyan (ang pinakamalaking inaasahang pinsala na nakaupo sa ibabaw ng pinakamaliit na umiiral na depensa) ay ang pinakamalakas na dahilan para kumilos dito sa halip na sa ibang lugar, hindi isang dahilan para mawalan ng pag-asa. Kapag ang isang panganib ay napakalaki at mayroon nang maraming ginagawa, ang iyong karagdagang pagsisikap ay nakikipagkumpitensya sa maraming naunang pagsisikap at bahagyang gumagalaw sa karayom. Kapag ang isang panganib ay napakalaki at halos hindi pa natutugunan, ang iyong karagdagang pagsisikap ay walang kakumpitensya at maaaring lubos na gumalaw sa karayom. Ang pinakamalaki at pinaka-napabayaang panganib ay kung saan ang isang tiyak na dami ng trabaho ay pinakamaraming nagagawa, at sa parehong sukatan ang superintelligence ang panganib na iyon.
Ito ay nagpapatuloy pa. Ang field na direktang gumagawa dito ay tumatakbo sa shoestring, humigit-kumulang na ilang daang milyong dolyar bawat taon, mas mababa pa sa ginagastos ng mundo sa isang araw para gawing mas malakas ang AI. At karamihan pa rin nito ay napupunta sa teknikal na pananaliksik kung paano i-align ang mga sistemang ito, isang suliranin na wala pang nalulutas at maaaring hindi masolusyonan sa oras. Ang bahaging lubos na napapabayaan ay ang political work: ang pagbuo ng binding, verified international agreement na makakapigil sa pagbuo ng pinakamapanganib na sistema hanggang sa maging ligtas ang mga ito.
Hayaan mong ako'y maging eksakto, sapagkat ang argumentong ito ay madaling baguhin at ang sobrang pangungusap ang siyang inaabot ng mga tao kapag nais nilang alisin ito. Hindi sinasabi na ang digmaang nuklear at mga pangglobong epidemya ay maliit lamang; ang mga ito ang nangunguna sa anumang listahan ng mga bagay na dapat sana'y ginugugol ng sangkatauhan sa paghadlang. Hindi sinasabi na ang kapahamakan ng AI ay tiyak; ang tapat na mga tantiya ay mula sa isang bagay na gaya ng isa sa sampu tungo sa isang bagay na gaya ng isa sa tatlo, na ang ibig sabihin ay ang pinakamaliit na resulta ay na tayo ay dumaraan pa rin.
Mas makitid at mahirap takasan ang pahayag. Sa kaunting bagay na maaaring magwakas sa atin, ang superintelligence ang pinakamalaki ayon sa pinakamahusay na pagtataya natin, ang tanging aktibong lumalaban sa ating mga pagtatangka na mabuhay dito, at ang hindi pa natin gaanong napamamahalaan. Kapag pinagsama ang tatlong katotohanang ito, makukuha mo ang dahilan ng pag-iral ng Foundation na ito. Hindi namin sinusubukang ulitin ang teknikal na safety research na pinopondohan na ng mga lab. Kami ay makitid ang pokus sa napapabayaang bahagi: ang international law na tinatrato ang pinakamalaking panganib bilang tunay na panganib, at naglalagay ng limitasyon bago, hindi pagkatapos, ng unang pagkakamaling hindi na natin matututunan.
I-ranggo ang mga sakuna nang tapat at ang priyoridad ay susunod nang mag-isa. Ang pinakamalaking panganib ay din ang pinakamaliit na nababantayan at pinakamaliit na nauunawaan.