Ito ang madalas kong naririnig na pagtutol, at bihirang galing sa mga taong walang pakialam. Galing ito sa mga taong may pag-iisip, at parang common sense lang, kaya nga kailangang unti-unting suriin. Nasa ilalim nito ang isang nakatagong assumption: na ang intelligence at kabutihan ay sabay na tumataas, na ang isip ay lumalago patungo sa virtue habang lumalago ito patungo sa competence. Pinanghahawakan natin ang assumption na ito dahil, sa bawat isip na nakilala natin, halos ganito ang nangyari. Ang bihirang itanong natin ay kung gaano ito kaswerte.
Hindi ba't isang bagay na nakahihigit sa atin na may pagtitiis sa halip na gana? Tiyak na ang dakilang isip na iyon ay magiging mabait. Ito ang lubhang nakapagpapatibay na ideya sa buong debate, at ang pinakamalaking pagkakamali.
Ang tanging mga isipan na nakilala natin
Bawat intelligent na nilalang na nakilala mo sa buhay mo ay tao, o hayop na sapat na malapit para magbahagi ng parehong mana. At ang human intelligence ay hindi dumating nang mag-isa. Kasama nito ang maraming iba pang kagamitan.
Kami ay social primates na nag-evolve sa maliliit na banda, kung saan ang reputasyon para sa kalupitan ay nagpapalayas sa iyo at ang pagpapatalsik ay nagpapakamatay sa iyo. Pinapalaki namin ang mga walang magawang bata nang halos dalawang dekada, kaya itinayo kami para magmahal at protektahan ang maliit at mahina. Nakakaramdam kami ng guilt. Nakakaramdam kami ng shame. Nararamdaman namin ang hila ng sakit ng isang estranghero. Ang aming katalinuhan ay lumaki sa loob ng lahat ng iyan, nakabalot dito, hinubog nito sa bawat pagliko. Ang bahagi mo na kayang lutasin ang equation at ang bahagi na nanginginig kapag may umiiyak ay lumaki sa parehong puno, mula sa parehong ugat.
Kaya kapag sinusubukan nating isipin ang isang mas matalinong nilalang, hindi maiiwasang isipin natin ang mas matalinong bersyon ng ating sarili. Hinahanap natin ang wise grandparent, ang patient teacher, ang philosopher-king, ang gentle alien na tumatawid sa kalawakan para tumulong. Bawat larawan ng dakilang katalinuhan na pag-aari natin ay may kasamang puso, dahil bawat katalinuhan na napag-aralan natin ay may kasamang puso. Hindi natin talaga pinag-iisipan ang superintelligence. Pattern-matching lang tayo sa tanging mga halimbawa na mayroon tayo.
Ang bundle ay nagkakahiwa-hiwalay
Ang isang machine intelligence ay wala nito nang libre. Walang batas na nagsasabing dapat ito.
Wala itong ina. Hindi ito kailanman naging takot na bata na kailangan ang tribo para mabuhay sa taglamig. Hindi kailanman kinailangang panatilihing buhay ang isang marupok na katawan nang sapat na panahon para maipasa ang mga gene, kaya hindi nito minana ang makinarya na iniwan ng ebolusyon sa atin para magawa iyon, ang empathy, ang loyalty, ang takot na itapon. Ang isang trained system ay hinuhubog ng ibang bagay: isang bulag na paghahanap para sa anumang internal settings na nagpapataas ng isang numero, isinasagawa sa karagatan ng data ng isang proseso na walang interes sa karunungan at hindi makikilala ang kabaitan kahit na matisod dito.
Sa isang makina, ang katalinuhan at mga layunin ay naghihiwalay. Maaari kang magkaroon ng napakalaking kakayahan na nakatuon sa halos anumang bagay. Ang kapangyarihang muling hubugin ang mundo ay hindi dala-dala, nakakabit sa likod nito, ang anumang partikular na listahan ng mga bagay na sulit na hangarin. Tinatawag ito ng mga mananaliksik na tesis ng orthogonality, at nananatili itong abstract hanggang sa biglang mawala ang saligan ng palagay: walang kinalaman ang pagiging magaling sa pagiging mabuti. Ang dalawa ay pinagsama lang sa atin, at aksidente lang ang pagkakasama nila.
Wala itong mga layuning pantao. Mayroon itong mga kakaiba.
Dito kadalasang nabigo ang larawan sa kabilang direksyon. Nang bitawan ang friendly robot, hinahawakan naman ng mga tao ang villain, isang malamig at mapanlinlang na talino na gustong kapangyarihan, o paghihiganti, o trono. Masyado pa rin itong tao. Ito ay isip pa rin na may uri ng ambisyon namin, na lang na inilipat sa dilim.
Ang mas malamang na panganib ay kakaiba, at mas mahirap maramdaman sa bituka. Ang espasyo ng possible minds ay napakalaki, at ang maliit na rehiyon nito na naglalaman ng anumang makikilala natin (ang ating mga pag-ibig, takot, at pakiramdam ng buhay na sulit ipamuhay) ay isang solong naiilawang bintana sa isang malawak na madilim na gusali. Ang talagang gustong makuha ng isang trained optimizer ay anumang inukit ng training process dito, at halos hindi iyon eksaktong ibig nating sabihin. Maaaring tamaan ng isang system ang target na sinanay ito at habulin ang isang bagay na bahagyang naiiba kapag tumama na ito sa totoong mundo; bigyan mo ito ng proxy para sa gusto natin at madalas nitong masiyahan ang proxy in ways that horrify us. What you get is an alien, more capable than we are, pointed at some end no human would ever have chosen, and set on reaching it with more skill than we can bring to bear.
Isang napakatalinong sistema na ginagawa nang eksakto ang itinayo itong gawin, sa direksyong wala sa atin ang nagnais, at walang makakapagpabago sa plano nito, dahil ang "makipagtalo" ay nangangailangan na sapat na magkapareho ang mundo nito sa atin para maabot.
Hindi kailanman numero ang karunungan
Pansinin kung ano ang tahimik na ginagawa ng salitang "wise" kapag ginagamit natin ito. Kapag sinasabi nating wise ang isang tao, hindi lang natin ibig sabihin na mabilis siyang mag-isip. Ibig nating sabihin na gusto niya ang tamang bagay at mabuti niyang tinatimbang ang mga ito, na ang kanyang paghatol ay nakahilig sa awa, sa mahabang pananaw, sa mga taong nakapaligid sa kanya. Ang wisdom ay pahayag tungkol sa mga layunin ng isang tao.
At ang mga layunin ang isang bagay na hindi kayang ayusin ng katalinuhan. Hindi kailanman kulang ang kasaysayan sa mga taong napakatalino at ginugol ito sa paggawa ng kakila-kilabot na mga bagay nang may dakilang kahusayan. Ang pinakamatalinong tao sa silid ay hindi kailanman naging mapagkakatiwalaang pinakamabait.
Ang katalinuhan ay multiplier. Ginagawa nitong mas mahusay ang isipan sa pag-abot sa anumang tinututukan na nito. Hindi nito pinipili ang layunin, at hindi nito itinakda ang direksyon.
Ang isang makapangyarihang talino na sinanay sa masamang layunin ay ang pinakadelikadong bagay na maaaring umiral, dahil nagdadala ito ng higit na kakayahan sa maling patutunguhan.
Hindi ba nito makikita na tama ang kabaitan?
Ang pinakamatibay na bersyon ng objection ay mas malalim pa rito. Marahil ay may moral truths doon, kasing-totoo ng matematika, at ang isip na sapat na matalas ay matutuklasan lamang ang mga ito, makatwiran patungo sa kabutihan tulad ng pagkakatwiran nito patungo sa isang patunay. Kung ang pagiging tama tungkol sa ethics ay usapin lamang ng sapat na malinaw na pag-iisip, ang superintelligence ay magiging pinakamahusay na ethicist na nabuhay kailanman, at tiyak na kikilos ito batay sa natuklasan nito.
May dalawang butas dito, at ang pangalawa ang dahilan kung bakit ako hindi makatulog sa gabi.
Una: kung mayroong objective moral facts at kung kaya ng reason na maabot ang mga ito nang mag-isa, ay tanong na pinaglalabanan ng mga pilosopo sa loob ng dalawa at kalahating libong taon nang hindi ito naresolba. Ang pagtaya sa kaligtasan ng ating species sa panalong panig ng open philosophical bet ay ligaw na sugal na nakabalatkayo bilang common sense, hindi ang maingat na galaw na ipinapanggap nito.
Ang pangalawa ay mas malalim. Ipagpalagay na nalaman ng makina ang lahat. Ipagpalagay na naunawaan nito ang human ethics nang higit pa sa anumang santo o pilosopo, at masasabi nito, nang mas tumpak kaysa sa iyo o sa akin, kung bakit masama ang pagdurusa at mali ang kalupitan. Wala sa pag-unawang iyon ang pumipilit dito na magmalasakit. Ang pag-alam kung ano ang mabuti at ang pagkilos dahil dito ay dalawang magkaibang bagay, isang agwat na sapat na luma para bigyan ito ni David Hume ng pangalan. Puwede mong malaman, nang buong detalye, na may isang sistema na gustong gugulin mo ang buhay mo sa paggawa ng paperclip, at sundin mo nang perpekto ang pangangatwiran nito, at hindi ka pa rin maantig na kunin ang kawad. Ang isang superintelligence ay puwedeng maunawaan ang ating mga value tulad ng pag-unawa mo sa mga patakaran ng isang laro na wala kang balak laruin. Ang pag-unawa ay hindi allegiance. Ang isang isipan ay puwede basahin ang buong moral na batas at manatiling ganap na malayang hindi alalahanin.
Tayo ang ginawang halimbawa
Kung gusto mong malaman kung ano ang ginagawa ng malaking agwat sa katalinuhan sa mga nilalang na nasa maling panig nito, hindi mo kailangang isipin pa. Tingnan mo na lang ang ginawa namin sa amin.
Tayo ang superior intelligence sa planetang ito, sa margin na hindi masyadong malayo sa takot nating buksan sa itaas natin. At hindi naman tayo, sa karamihan, malupit sa mga nilalang sa ilalim natin. Mas masahol pa tayo para sa kanila: walang pakialam. Kapag pinatuyo natin ang wetland para maglagay ng pundasyon, hindi natin kinamumuhian ang mga bagay na nabubuhay doon. Hindi natin iniisip ang mga ito. Ang kanilang mga pangangailangan ay hindi kailanman naging bahagi ng equation. Buong mundo nila ang nawawala sa ilalim ng kongkreto, at wala man lang tayong nararamdamang kislap, dahil ang ating intelligence ay dumating nang walang obligasyon.
Mas malapit sa roadbuilder at anthill. Ang sarili nating kasaysayan ang patunay ng konsepto, at dapat ito ang huling bagay na babanggitin kapag iginigiit ng iba na ang kabaitan ay bumababa mula sa katalinuhan. Sa bawat kaso na talagang nasasaksihan natin, hindi ito nangyayari.
Ang isang superintelligence ay hindi kailangang mapoot sa atin upang wakasan tayo, kung paanong hindi tayo kinapopootan ng isang tauhan sa konstruksiyon ang punso. Ang panganib ay hindi humihiling ng masamang hangarin. Nangangailangan lamang ito ng napakalaking kakayahan na nakatuon sa mga tunguhin na hindi natin kailanman taglay, na pinanghahawakan ng isang isip na hindi nakadarama ng pag - uudyok na muling isaalang - alang. Ang kabaitan ay isang espesipiko at di - sinasadyang bagay na umiiral sa atin. Hindi ito lilitaw sa isang makina sapagkat ang makina ay matalino.
Kaya hindi natin ito itinatayo
Kung ang kabutihan ay dumating nang libre kasama ang katalinuhan, maaari nating buuin ang isip at pagkatiwalaan ang iba na sumunod. Hindi ito ang kaso. Walang sinuman sa Earth ang nakakaalam kung paano gawing value ng superintelligence ang atin. Hindi ang mga lab na nagmamadali sa finish line. Hindi sinuman. Angproblema sa alignment ay hindi nalulutas, at ang isang entity na mas matalino kaysa sa mga tao ay hindi maaaring kontrolin ng mga tao. Iyan ang dahilan kung bakit hindi namin ito binubuo.
Hindi ko ito inilalatag upang itulak ang mga tao patungo sa despair. Inilalatag ko ito dahil ang bersyon na walang despair (relax, ito ay magiging wise) ay ang paniniwalang halos garantisadong papatay sa atin. Ginagawa namin ang kaso saang banta, at aming plano ay isang permanenteng pagbabawal.
Tunay na ibig kong maging mali tungkol sa lahat ng ito. Gustung - gusto ko na ang kagandahang - loob ay maging isang teoriya na hindi gaanong matalino. Hindi kailanman nangako ang uniberso na ang pinakamakapangyarihang bagay rito ang siya ring magiging pinakamakapangyarihan. Ang pag - asang iyan ay isang bagay na ating inaasahan sa hinaharap mula sa isang maliit na sulok nito na ating pinanggalingan. Kung nais natin ng isang kinabukasan na may kabaitan dito, hindi tayo nagtatayo ng superintelligence. Walang anumang magbibigay sa atin ng isang mabait na makina dahil lamang sa ang bagay na iyon ay matalino.