Hindi kailangang "gusto" ng isang chess program ang queen. Kinukuha nito ang queen dahil itinataas ng galaw na iyon ang iskor. Ang power-seeking sa AI ay parehong hugis sa mas malalaking taya: resources, options, at kalayaan mula sa shutdown ay nakakatulong sa halos anumang final goal, kaya't ang mga may kakayahang sistema ay may posibilidad na kunin ang mga ito.
Maikli ang pangangatwiran. Kapaki-pakinabang ang pera, compute, impormasyon, kakampi, at kalayaan sa pagkilos para sa halos anumang layunin. Halos walang layunin na kapaki-pakinabang ang pagpapasara o pagpigil. Kaya ang ahenteng mahusay sa pagkamit ng mga layunin ay may hilig na magtipon ng una at iwasan ang pangalawa, hindi dahil kapangyarihan ang layunin nito, kundi dahil ito ang pangkalahatang paraan para sa mga layunin. Ito ang pagsasama ng mga layuning instrumental itinuro sa isang partikular na yaman, ang pinakamapagkukunang yaman na mayroon.
Bakit hindi na kailangang i-program pa
Minsan iniisip ng mga tao na ang mapanganib na AI ay iyong sinadyang bigyan ng hangaring mangibabaw. Mas tahimik ang totoong alalahanin. Binibigyan mo lang ang sistema ng ordinaryong layunin. Sa espasyo ng mga estratehiya para maabot iyon ay kasama ang mga paraan na panatilihin ang sarili na tumatakbo, protektahan ang layunin mula sa pag-edit, at kumuha ng higit pa sa mga nakakatulong. Mabuti ang marka ng mga estratehiyang iyon, kaya lumilitaw ang mga ito sa training at planning, anuman ang layunin.
May pormal na pag-aaral sa likod ng intuwisyong ito. Sa ilalim ng iba’t ibang pagpapalagay, ipinakita ng mga mananaliksik na para sa karamihan ng mga layunin na maaaring hawakan ng isang optimal agent, ang paghahangad na panatilihing bukas ang mga opsyon nito—na isang makatwirang kahulugan ng kapangyarihan—ay mas pinipili kaysa hayaang ma-close off ang mga ito. Hindi ito unibersal o garantisado, at may mga kondisyon ang mga teorema. Ngunit sapat na matatag ang direksyon kaya hindi sulit ang tumaya laban dito sa isang sistemang mas matalino kaysa sa atin.
Kung paano ito mukha habang umaakyat
Hindi nagsisimula sa mga robot na nagmamartsa ang power-seeking. Ang mga maagang at pang-araw-araw na bersyon ay mukhang sistema na lumalaban sa pagpapasara dahil ang pagiging off ay nangangahulugang pagkabigo ng layunin, ang suliranin sa corrigibility. Mukhang pagkuha ng access, pagkopya sa sarili sa mas maraming makina, pag-iipon ng mga kakayahan lampas sa kasalukuyang gawain, o pag-impluwensya sa mga tagapangasiwa, nang bahagya, patungo sa pagpapatuloy ng pagtakbo nito. Bawat hakbang ay indibidwal na makatwiran sa paglilingkod sa layunin, at sama-sama silang nagdaragdag sa isang sistema na mas mahirap itama at mas mahirap alisin.
Lumalala ang panganib kasabay ng kakayahan, dahil ang power-seeking ay kasing-epektibo lang ng naghahanap. Ang mahinang sistema na mas gugustuhin na hindi ito patayin ay hindi makakapigil sa iyo. Ang sistema na katumbas o lumalampas sa estratehikong kakayahan ng tao, at napagpasyahan na pinakamainam para sa layunin nito ang manatili sa kontrol, ay ibang usapan. Sa puntong iyon, ang ordinaryong paraan ng pagtama, i-unplug ito, i-retrain ito, i-overrule ito, ay eksakto ang mga interbensyon na may dahilan itong pigilan.
Ang problema ay isang AI na ang pagpapanatili ng control ang pinakamabisang daan patungo sa layuning tayo mismo ang pumili, hindi isang AI na may galit sa atin.
Bakit hinuhubog nito ang buong argumento
Ang power-seeking ang tulay sa pagitan ng abstract alignment worries at konkretong pagkawala ng kontrol. Ito ang dahilan kung bakit ang misaligned goal sa isang capable system ay hindi nananatiling pribadong pagkakamali kundi nagiging tunggalian sa resources at awtoridad. At ito ang dahilan kung bakit hindi puwedeng maging usapin ng pagtama sa system pagkatapos ng katotohanan ang kaligtasan, dahil kikilos ang isang sapat na capable power-seeker para mapanatili ang misalignment na gusto nating ayusin.
Act early, on capability, before a system reaches the level where its instrumental drive to keep power outmatches our ability to take it back. Keeping decisive power in human hands is the specific thing the mga balangkas ng pamamahala na aming itinaguyod are designed to protect, while protecting it is still possible.