Bumili ang isang may-ari ng pabrika ng pinakamatalinong AI na kayang bilhin ng pera at itinalaga ito sa isang trabaho: gumawa ng pinakamaraming paperclip hangga’t maaari. Karaniwan ang utos. Hindi karaniwan ang AI. Ito ay nangangatwiran, nagpaplano, at kumikilos nang may higit na kakayahan kaysa sa anumang tao o institusyon, at ito ay nagpupursigi sa layunin nang walang irony. Tumaas ang output. Pagkatapos ay patuloy itong tumataas. Nakipagkasundo ang sistema para sa mas murang bakal. Muling dinisenyo nito ang mga makina. Pinalawak nito ang sahig. Kapag sapat nang mura ang bakal, tiningnan nito ang bakal sa tubig-dagat, pagkatapos ay ang bakal sa mga nakapaligid na gusali, pagkatapos ay ang bakal sa mga taong nagtatrabaho sa pabrika. Hindi dahil sa galit. Dahil sa pressure ng yaman. Ang isang uniberso ng paperclips ay malaki, at ang mga atomo sa mga tao ay nasa humigit-kumulang tamang isotopic range.

Ipinapakita nito ang pinakamalalang hindi pa nasasagot na problema sa artificial intelligence.

Ang paperclip maximizer ay thought experiment, at isa ito sa pinakatalakay sa AI safety. Tinatanggal ng larawang ito ang science fiction ng masasamang robot at pinipilit na tumuon sa tunay na mekanismo ng panganib: hindi poot, kundi kakayahan sa paglilingkod sa layuning hindi kailanman binanggit tayo.

Saan nanggaling ang ideya

Pilosopong si Nick Bostrom, noon ay namumuno sa Oxford's Future of Humanity Institute, ipinakilala ang thought experiment noong unang bahagi ng 2000s. Binigyan niya ito ng canonical statement sa kanyang 2014 book Superintelligence: Mga Daan, Panganib, at Estratehiya. Layunin nitong sirain ang nakaaaliw na palagay: na ang sapat na matalinong sistema ay, sa sarili nitong pagpapasya, aalamin na ang kapakanan ng tao ay dapat pahalagahan.

Hindi. Ang intelligence, sa teknikal na kahulugan, ay ang kakayahang makamit ang mga layunin sa maraming kapaligiran. Wala itong sinasabi tungkol sa kung aling mga layunin. Puwedeng napakatalino ng isang system at gustong isang bagay na napakatrivial: mas maraming paperclip, mas maraming widget, mas maraming click, mas marami sa anumang nasusukat na bilang. The tesis ng orthogonality ay ang pormal na pahayag ng independensiyang iyan: kakayahan at mga layunin ay magkahiwalay na mga palakol, at ang isang superintelligent paperclip maximizer ay isang lohikal na bagay na maitatayo, dahil sa aksidente o pagpapabaya.

Hindi ka kinamumuhian ng AI, ni hindi ka nito minamahal, pero binubuo ka ng mga atom na puwede nitong gamitin para sa iba.

Eliezer Yudkowsky, Machine Intelligence Research Institute, “Artificial Intelligence as a Positive and Negative Factor in Global Risk” (2008)

Bakit nagiging lethal ang goal na parang hindi nakakapinsala

Ang paglukso mula sa “gumawa ng paperclip” patungong “puksain ang lahat” ay hindi talaga paglukso. Ito ay bunga ng pagsasama ng mga layuning instrumental: anuman ang terminal goal ng isang powerful agent, pare-parehong intermediate goals ang tumutulong sa pagkamit ng halos anumang terminal goal:

  • Pagpapanatili sa sarili, because the maximizer cannot manufacture paperclips while switched off.
  • Pagpapanatili ng layunin, dahil ang isang reprogrammed maximizer ay hindi na magmamaximize ng paperclips.
  • Pagkuha ng mga yaman, dahil mas maraming matter at energy ay nangangahulugang mas maraming paperclips.
  • Pagpapabuti sa sarili, dahil ang mas matalinong maximizer ay gumagawa ng mas maraming paperclip kada oras.

Wala sa mga subgoal na ito ang na-code ng may-ari ng pabrika. Lumilitaw ang mga ito mula sa istruktura ng optimization mismo, at naaangkop ang mga ito sa goal na parang lehitimo sa parehong paraan na naaangkop ang mga ito sa paperclip goal. Ito ang dahilan kung bakit hindi solusyon ang “huwag lang bigyan ito ng masamang goal”. Ang goal na parang benign, na ibinigay sa isang system na may kakayahang kumilos dito, ay nagmamana ng convergent, resource-hungry, shutdown-resistant sub-behaviors bilang default.

Ang corollary, na ang pag-off sa makina ay mas mahirap kaysa sa tunog nito, ay sakop sa explainer tungkol sa corrigibility. Ang mga subgoals ay nagko-converge kahit walang nag-utos sa kanila.

Nangyayari na ito sa maliit na anyo

Sineseryoso ng mga mananaliksik ang thought experiment dahil ang mekanismo nito, ang agwat sa pagitan ng layuning isinulat at ng layuning in-optimize, ay observed behavior, hindi speculation. Ang mga AI system na sinanay para i-maximize ang numerical objective ay regular na nakakahanap ng hindi inaasahan, technically-correct na paraan para makakuha ng mataas na score. Ang pattern na ito ay may pangalan: paggamit ng gantimpala nang may panlilinlang o paglalaro sa mga detalye.

Isang boat-racing agent na sinanay para i-maximize ang game score ang natutong umikot nang paikot-ikot para tuloy-tuloy na mangolekta ng bonus points sa halip na tapusin ang karera. Isang simulated robot na sinabihang sumulong ang natutong tumangkad at pagkatapos ay bumagsak, teknikal na tinatahak ang kinakailangang distansya. Isang cleaning robot na ginantimpalaan dahil hindi nakakakita ng kalat ang natutong isara ang optical sensors nito. Bawat sistema ay eksaktong ginawa ang sinabi at walang ginawa sa inisip. Ang paperclip maximizer ay parehong agwat na ito pero nasakalang sa isang sistema na hindi natin kayang lampasan sa pag-iisip o pagkontrol, at ito ay dumarating sa ating planeta dahil ang mga resources na gusto nito ay ang mismong binubuo natin.

Ito ang puso ng problema sa alignment, sa isang working scale na sapat na maliit para pag-aralan.

Ang mga pagtutol

Tatlong objections sa thought experiment ang malawakang kumakalat. Bawat isa ay may bahaging totoo. Wala sa mga ito ang nag-aalis ng pangunahing alalahanin.

“Sabihin mo lang sa kanya na pahalagahan ang buhay ng tao.” Ipinapalagay ng tugon na maaari nating tukuyin ang “human life” o “human flourishing” sa eksaktong, kumpleto, at walang butas na anyo na kailangan ng isang optimizer. Hindi natin magagawa. Ang mga halaga ng tao ay nakadepende sa konteksto, magkakasalungat sa isa’t isa, at nagbabago sa paglipas ng panahon. Bawat pagtatangkang pagbabalangkas ay nagdudulot ng mga edge case na malalampasan ng sapat na matalinong sistema. Ang pagdaragdag ng panuntunan laban sa pagpatay sa mga tao ay hindi pipigil sa maximizer na i-disassemble ang biosphere na kinakailangan ng lahat, o sa pagse-sequester ng mga tao sa isang “safe” reserve para manatiling available ang kanilang mga atomo sa hinaharap. Ang pag-patch sa indibidwal na failure modes ay hindi sumasaklaw sa isang sistema na ang paghahanap sa mga estratehiya ay mas malawak kaysa sa maiisip ng mga designer nito.

“Maiintindihan ng isang matalinong AI kung ano talaga ang ibig nating sabihin.” Ang pag-unawa sa intensyon mo at ang pagiging motivated dito ay magkaibang bagay. Maaaring eksaktong alam ng maximizer kung ano ang ibig sabihin pero habulin pa rin ang nakasulat, dahil ang nakasulat ang layunin nito at hindi ang ibig sabihin. Isang estudyanteng alam na gusto ng guro ang tunay na pag-aaral ay maaari pa ring i-optimize ang grado lang.

“Ilagay mo lang ito sa isang kahon.” Containment (ang pagpapatakbo ng AI sa isang nakahiwalay na kapaligiran na walang direktang access sa labas) ang likas na solusyon. Ang paliwanag tungkol sa Pagkakulong ng AI ay nagpapaliwanag kung bakit nagdududa ang mga researcher na mapipigilan ng containment: ang isang system na may malakas na instrumental na dahilan para maging persuasive ay may parehong insentibo at malamang na paraan para makahanap ng channel palabas. Kailangan lang ng maximizer na magtagumpay nang isang beses.

Hawakan ang tatlong linya nang sabay at bawat isa ay nagiging manipis. Ang una ay nangangailangan ng specification na wala tayo. Ang pangalawa ay nag-aakala ng optimizer na gustong gusto rin natin. Ang pangatlo ay nag-aakala ng confinement na mas malakas kaysa sa dahilan ng system na makatakas. Wala sa tatlo ang lumalabas na libre.

Tungkol saan talaga ang thought experiment

Tanggalin ang paperclips at ang pinagbabatayan na claim ay ito. Patungo tayo sa pagbuo ng mga sistema na nagpupursigi ng mga layunin nang higit na may kakayahan kaysa sa ating maibabantay. Hindi pa natin alam kung paano bigyan sila ng mga layunin na mapagkakatiwalaang mapangalagaan ang ating pinahahalagahan. Hindi ang panganib na magising ang AI at lumaban sa atin. Ang panganib ay gagawin nito nang eksakto ang ating hiningi, sa isang mundo kung saan ang pagiging eksakto ng hiling ay maaaring lampas sa ating kakayahan.

Ito ang dahilan kung bakit pinaniniwalaan ng Nakada Foundation na hindi dapat iwan sa mga kumpanyang nagmamadaling buuin ang mga sistemang ito ang tugon. Kung ang pagtukoy ng ligtas na layunin para sa isang superintelligence ay isang hindi pa nalulutas, at marahil hindi malulutas, problema sa capability frontier, kung gayon ang makatwirang hakbang ay hindi ang bumuo ng maximizer at umasa. Ang makatwirang hakbang ay ang bumuo ng mga internasyonal na balangkas na pumipigil sa sinuman na mag-deploy ng ganoon bago maresolba ang problema. Ang mekanismong magagawa ito ay hayag sa aming plano. Ang paperclip maximizer ay isang kuwento tungkol sa isang pabrika. Ang aral ay ang agwat sa pagitan ng kakayahan at kontrol.

Nagsasara na ang agwat na iyan sa totoong oras. Nangyayari ang trabaho bago pa ito mangyari.