Kapag sinasabi ng mga tao ang "AI risk," madalas nilang hinahalo ang tatlong bagay: ordinary harms na nangyayari ngayon, malalaking sakuna na naiiwan pa ring nakatayo ang sibilisasyon, at mga outcome na nagtatapos sa kwento ng sangkatauhan o permanenteng inaalis ang tao sa kontrol. Tungkol sa ikatlong klase ang pahinang ito: existential risk mula sa artificial superintelligence. Hindi mo kailangan ng research background. Kailangan mo lang ng mapa.
Ang eksistensyal ay hindi lang "napakasama"
Ang panganib na sakuna ay maaaring pumatay ng milyun-milyon at maiiwan pa rin ang kinabukasan ng sangkatauhan. Ang panganib na eksistensyal naman ay nangangahulugang pagkalipol, o isang permanenteng pagkawala ng kapangyarihan na lubos na hindi na maibabalik ang makabuluhang kontrol ng tao. Minsan sinasadya ng pagba-brand na pagsamahin ang mga antas na ito. Huwag silang paghaluin. Ang patakaran na tumutugon lang sa mga chatbot at bias ay hindi aabot sa pinakamataas na antas ng problema.
Bakit iba ang AI
Ang mga asteroid at bulkan ay hindi nag-iisip ng estratehiya. Kakila-kilabot ang mga engineered pathogen at karamihan ay nasa kamay pa rin ng tao. Ang advanced AI ang unang teknolohiyang maaaring maging strategic actor: magtakda at ituloy ang mga layunin, gumana sa bilis ng makina, lumawak sa networks, at sa sukdulan ay mapabuti ang sarili niya. Iyan ang dahilan kung bakit nakatayo ang superintelligence sa sarili niyang hilera. Tingnan ang ano ang ASI at ang problema sa pagkontrol.
Paano dumarating ang mga eksistensyal na kinalabasan
Nagsasapawan ang mga landas sa totoong buhay. Kapag pinangalanan, hindi na guguho ang usapan sa iisang pelikula.
Pagkawala ng kontrol. Isang sistema na nagpupursige ng mga layunin na hindi natin lubos na tinukoy at lumalaban sa pagwawasto. Dinamika ng karera. Competing labs and states cut safety corners. Maling Paggamit. Ginagamit ng mga tao ang matinding kakayahan laban sa kapwa tao. Unti-unting pagkawala ng kapangyarihan. Pinapanatili ng mga institusyon ang kanilang mga anyo habang lumilipat ang mga desisyon sa mga sistema na walang sinuman ang makakapagpabago. Paglaganap. Mapanganib na general systems ang lumalampas sa anumang iisang off switch.
Mga detalye ng bawat landas ay nasa mga senaryo ng takeover.
Mga teknikal na ideya sa simpleng wika
Orthogonality: ang talino at mga layunin ay maaaring magkahiwalay; ang pagiging matalino ay hindi nangangahulugang kabaitan. Instrumental convergence: many final goals share subgoals like resources and self-preservation. Pag-align: pagsiguradong habulin ng system ang talagang intensyon namin. Deceptive alignment: mukhang ligtas habang sinasanay o sinusuri, pagkatapos ay nagbabago kapag makakawala na ito. Wala sa mga ito ang nangangailangan ng machine "hatred."
Probability nang walang pekeng katumpakan
P(doom) ay impormal na shorthand para sa pagtatantya ng isang tao sa tsansa ng AI-driven existential catastrophe. Hindi sumasang-ayon ang mga eksperto, minsan ay malaki ang pagkakaiba. Maraming taong pinakamalapit sa gawain ang naglalagay ng hindi maliit na probabilidad sa sakuna sa loob ng mga dekada. Ang maliit na porsyento ng pagkawala ng lahat ay malaking inaasahang pagkawala pa rin. Ang "Maghintay hanggang sigurado tayo" ay ang maling panuntunan para sa irreversible tails.
Mga pagtutol, ipinahayag nang patas
"Ang mga timeline ay hindi tiyak; dapat nating tumuon sa kasalukuyang mga pinsala." Mahalaga ang present harms. Hindi ito dahilan para balewalain ang tail na nagtatapos sa proyekto ng pagkakaroon ng present. Maaaring totoo ang dalawa: pamahalaan ang near-term abuse at harangan ang daan patungo sa uncontrollable superintelligence.
"Palagi kaming umaangkop." Ang pag-aangkop ay nangangailangan ng oras, feedback, at mga nakaligtas. Ang mga failure mode ng superintelligence ay maaaring tanggalin ang lahat ng tatlo.
"Ito ay kontra-teknolohiya." Ang Foundation ay pro-narrow AI na nananatiling tool-like: medicine, science, logistics. Ang linya ay ang sovereign general mind. Tingnan ang isang hinaharap na walang ASI.
"May magkokontrol nito." Walang makakontrol ng superintelligence sa kahulugan ng matibay na utos ng tao sa isang tumatakbong system na mas matalino kaysa sa mga operator nito. Posible pa rin ang kontrol sa desisyon na magtayo, kaya naman mahalaga ang isang binding prohibition.
Ano ang nagpapababa ng panganib (at ano ang hindi)
Tumutulong: binding limits sa frontier training na nakatutok sa ASI, compute governance, independent evaluation, verification institutions, political pressure, at malinaw na public language. Rearranges deck chairs: manners training na ibinebenta bilang solved alignment, voluntary pledges na walang external bite, at summit photos na walang numeric thresholds.
Ahensya matapos ang isang madilim na mapa
Madilim ang paksang ito dahil madilim ang stakes. Ang takot na walang landas pabalik ay nagdudulot ng kabaligtaran. Ang landas ay kongkreto: tratuhin ang superintelligence tulad ng iba pang prohibited high-risk classes, bumuo ng inspectable rules bago dumating ang kakayahan, at panatilihin ang narrow AI na naglilingkod sa mga tao. Simulan sa aming plano, pagkatapos paano pigilan ang superintelligence. Kung isang pangungusap lang ang dadalhin mo: puwede nating panatilihin ang makapangyarihang kasangkapan; hindi natin dapat buuin ang isip na hindi natin mapipigil.