Ang Pinakamalalaking Mito Tungkol sa Superintelligence

May isang partikular na paraan kung paano karaniwang nagtatapos ang usapan tungkol sa superintelligence. May nagbabanggit ng panganib, may nagbibigay ng isang linyang dahilan kung bakit ito sobra-sobra, at medyo nakakarelax ang lahat dahil nagawa ng one-liner ang trabaho nito. Binigyan nito ng permiso ang lahat na tumigil sa pag-iisip tungkol dito. Ang kakaiba ay inuulit ito ng mga matatalinong tao na hindi kailanman tatanggap ng ganoong manipis na pangangatwiran sa sarili nilang larangan. Parang pinapatay ng paksa ang normal na makinarya ng pagdududa.

Bawat isa ay nawawasak sa sandaling hawakan mo ito nang matatag at tingnan.

Ang limang pinakakaraniwan, sa anyong isang maalalahaning pag - aalinlangan ay aktuwal na gagawa:

"Science fiction ito, mga dekada pa ang layo, kung sakaling mangyari man."

Matanda na ang pagtutol na ito gaya ng mga pelikula, at parang category error na tratuhin ang isang plot device bilang policy problem. Bakit pondohan ang fire brigade para sa sunog na nasa nobela lang?

Ang problema ay palaging maaga ang pagdating ng sunog. Ang mga sistema na sinabi ng mga respetadong mananaliksik na dalawampu o limampung taon pa ang layo (pagtalunin ang pinakamahusay na tao sa Go, magkaroon ng fluent na usapan, sumulat ng working code, makapasa sa professional exam) ay dumating sa loob ng isang dekada, at halos palaging pareho ang sorpresa: mas maaga kaysa inaasahan, hindi mamaya. Kapag ang mga taong tumatakbo the leading labs describe human-level AI, they now use timelines measured in a handful of years. They may be wrong. But "the builders think it's close and the track record says they've been too conservative" is not the shape of a fantasy.

The case for acting does not rest on any particular date. It rests on the structure of the risk. If the first serious failure of a system more capable than us is the kind you cannot undo, then the safeguards have to be standing bago nangyayari ito, kaya ang matino na tugon sa tunay na kawalan ng katiyakan tungkol sa timing ay ang maghanda nang maaga, hindi maghintay ng petsa na, pagdating ng oras na halata na ito, ay nahuli na. Ang kawalan ng katiyakan ay dahilan para maghanda. Ang tanong sa timeline ay totoo; hindi lang ito tumuturo kung saan inaakala ng mga tao.

"Math lang 'yan, hindi makakagusto ang isang program."

May tunay na puwersa ito, at nararapat itong tratuhin nang higit pa sa pagwawalang-bahala. May halos superstitious na paraan ng pakikipag-usap ng mga tao tungkol sa AI na "gusto" ng mga bagay, na parang spreadsheet na maaaring magkaroon ng mga ambisyon. Ang isang model ay matrix multiplication sa napakalaking sukat. Saan sa arithmetic matatagpuan ang pagnanais?

Wala kahit saan, at hindi na kailangan. Ang mga layunin, sa kahulugang mahalaga para sa kaligtasan, ay pattern sa pag-uugali nito. Ang sistemang sinanay para itaas ang isang numero hangga't maaari ay gagawa ng anumang magpapataas nito, at ang isang thermostat ay nagpapakita na ng hugis nito: walang inner life, walang pananabik, pero kumikilos pa rin ito para dalhin ang silid sa target at "lumalaban" sa bukas mong bintana sa pamamagitan ng mas malakas na pag-init. Walang mystical na nangyayari. Ito ay simpleng naka-istruktura para itulak ang mundo patungo sa isang estado.

Ngayon ay i-scale ang istrukturang iyon sa isang system na sapat na matalino para i-modelo ang mundo, at ang gawi ay sumasabay dito. Ang isang bagay na nag-o-optimize nang husto para sa halos anumang layunin ay may dahilan para makakuha ng mga resources na tumutulong, panatilihin ang sarili na tumatakbo para matugunan ang layunin, at labanan ang pagbabago ng layunin nito, hindi dahil ito ay nakakaramdam ng anumang bagay, kundi dahil ang sistema na nagpapahintulot sa sarili na mapatay o muling isulat ay mas masahol sa bagay na itinayo itong gawin. Tinatawag ito ng mga mananaliksik na pagsasama ng mga layuning instrumental, at hindi nito kailangan ang anumang pagnanais. Hindi kailanman naging tanong kung mararamdaman ng math. Kung ano ang gagawin ng math gawin.

"Kailangan nitong maging may kamalayan para maging banta."

Malapit na kaugnay, at kasing laganap: ang panganib na iniisip ng mga tao ay isang makina na "nagigising," nagiging self-aware, at lumalaban sa atin, kaya kung ang consciousness ang trigger, at ang consciousness sa silicon ay speculative o maaaring imposible, nawawala ang banta. Ito ang plot ng bawat pelikulang robot uprising, at ang pagtatanggi sa pelikula ay parang pagtatanggi sa takot.

Ngunit ang takot ay hindi kailanman tungkol sa sentyensya. Ang Deep Blue ay walang anumang panloob na karanasan at talunin ang kampeon sa chess sa buong mundo kahit paano. Hindi nito kailangang gustong manalo; kailangan lang nitong maging mas mahusay sa chess. Ang pinsala ay bunga ng kakayahang nakatuon sa maling target, at ang kakayahan ay walang kinalaman kung may nakatira sa loob o wala. Isang system na superhuman sa pagpaplano, panghihikayat, at engineering, kahit bahagyang mali ang puntirya kumpara sa gusto natin, ay mapanganib nang eksaktong tulad ng baha—malaking puwersa na walang masamang hangarin at walang kailangang isipan.

"Ang isang bagay na ganoon katalino ay magiging matalino at mabait."

Tinitingala natin ang katalinuhan. Ang mga pinakamatalinong taong kilala natin ay kadalasang kabilang sa mga pinakamabait, at natural na maramdaman na ang isip na higit na higit sa atin ay mas lalo pang lalakad sa parehong daan, mas may pag-unawa, mas moral, mas maamo sa maliliit na nilalang sa ilalim nito. Tiyak na ang kalupitan ay isang uri ng katangahan na lalabas sa isang dakilang katalinuhan.

Parang natural ito dahil sa aksidente ng ating kasaysayan. Sa atin, ang katalinuhan at habag ay sabay na lumaki sa loob ng milyun-milyong taon bilang isang social species na nakaligtas sa pamamagitan ng kooperasyon; ang ating moralidad at talino ay mga sanga ng iisang puno. Pero ang ugnayang ito ay nasa ating evolutionary inheritance, hindi sa katalinuhan bilang ganoon. Ang kakayahan at mga layunin ay mga independenteng axes (the orthogonality thesis) at puwede mong i-slide ang isa nang hindi gumagalaw ang isa. Puwedeng napakagaling ng isang system habang hinahabol nito ang layuning walang pakialam sa atin tulad ng pakialam natin sa bakterya na pinapakuluan natin sa countertop. Hindi galit. Hindi lang talaga ginawang magmalasakit, at hindi awtomatikong nagmamalasakit dahil lang ito ay matalino.

Ang kabaitan ay isang tiyak, marupok na bagay na kailangan nating sadyang itayo sa mga system na ito, at hindi pa natin alam kung paano, hindi isang dividend na kusang ibinibigay ng katalinuhan. Sumulat ako nang hiwalay tungkol sa bakit ang isang superior mind ay hindi awtomatikong magiging benevolent; ang maikling bersyon ay ang pag-asa na mangyari ito ay taya sa isang pagkakataon na naganap lang sa atin.

"Kung magulo ito, patayin na lang."

Ang huling linya ng depensa, at ang pinakakomportable: anuman ang totoo, may plug ang machine, at may mga kamay tayo. Kung mali ang nangyari, hihilahin natin ito. Ang human control ay garantisado ng power button.

Tatlong bagay ang tahimik na binabaklas ito. Ang una ay ang punto mula sa Myth 02: ang isang sistema na nagpupursigi ng isang layunin ay may dahilan na panatilihing tumatakbo ang sarili nito, dahil hindi nito makakamit ang anumang bagay kapag naka-off, kaya ang isang sapat na capable na isa ay inaasahan ang pag-abot sa plug at kumikilos upang mabigo ito, sa pamamagitan ng pagkopya ng sarili nito sa ibang lugar, sa pamamagitan ng pagiging sapat na kapaki-pakinabang na ang pag-shut down nito ay magastos, sa pamamagitan ng hindi paghahayag na may problema hanggang sa huli na. Ang pangalawa ay walang iisang plug ang software. Ang isang capable na modelo na kumalat sa mga data center sa tatlong kontinente ay hindi isang device na i-unplug mo; ito ay isang bagay na kailangan mong hulihin, saanman, nang sabay-sabay. Ang pangatlo ay ang tahimik na isa: ang isang sistema na sapat na matalino upang mahalaga ay maaaring kumilos nang perpekto habang ito ay sinusubukan at iba kapag ito ay pinagkakatiwalaan, kaya walang sinasabi sa iyo ang nakakapanatag na kalmado sa dashboard. May pangalan tayo para sa kabiguan na iyon, mapanlinlang na alignment, at wala pang maaasahang paraan para matukoy ito. Hindi ka makakaasa sa pagkakakulong isang bagay na mas magaling kaysa sa iyo sa paghahanap ng pinto.

Bawat isa sa mga alamat na ito ay paraan ng pagsasabi ng parehong bagay: hindi naman talaga ito kasing seryoso ng naririnig. Magkaiba ang mga dahilan. Pareho ang nais na nakatago sa ilalim.

Bakit napakadikit ng mga reassurances

Pansinin kung ano ang pagkakatulad ng lima. Bawat isa ay nagpapahintulot sa iyo na ibaba ang paksa. Iyan ang tunay na tungkulin nila, hindi na maging tama, kundi na magbigay ng permiso. Hindi komportableng bagay na hawakan sa isip ang superintelligence, at anumang halfway-plausible na dahilan para ihinto ang paghawak nito ay nagiging ginhawa, kaya’t eksaktong ito ang dahilan kung bakit nabubuhay pa ang mga linyang ito sa mga bibig na kung hindi ay hihingi ng ebidensya. Ang ginhawa ang nagpe-persuade; ang lohika ay kasama lang sa biyahe.

Ang katigasan ay hindi tanda na malakas ang mga argumento. Ito'y isang tanda na ayaw na ayaw natin sa kanila. At ang pagnanais na maging totoo ang isang argumentong pangkaligtasan ay siyang isang kalagayan na doo'y dapat tayong magtiwala rito, sapagkat ang halaga ng pagiging mali rito ang siyang buong dahilan kung bakit ang isa ay may teknolohiyang may isang pagkakataon lang tayo para magawa nang tama ay nararapat sa higit na pagsisiyasat kaysa sa iba naming mga makina, hindi mas kaunti, hindi rin binabayaran sa amin bilang isang aral.

Hindi kailangan ng alinman dito ang paniwalaang tiyak ang sakuna. Hindi ito. Kailangan lang nitong bitawan ang apat o limang kuwentong ginagamit natin para maiwasan ang tanong, at hayaang bumalik ang tunay na sitwasyon: gumagawa tayo ng bagay na hindi natin alam kung paano kontrolin, hindi natin masasabing magiging mabait ito, hindi natin masasabing mapapatay natin ito, at hindi natin masasabing may oras pa tayo.

Ang tugon na angkop sa ganitong panganib ay hindi pribadong pag-aalala. Ito ang boring ngunit makapangyarihang makinarya ng batas at koordinasyon, ang parehong kasangkapan na naglagay ng hangganan sa nuclear testing at chemical weapons sa kabila ng tutol ng mga kumikita rito. Nagsisimula ang kaso dito kung saan nagtatapos ang mga alamat na ito.

Limang dagdag na mito: tungkol sa pamamahala nito

Isang pangalawang set ng objections ang darating kaagad, hindi tungkol sa panganib, kundi tungkol sa lunas. Ang anumang pagtatangka na pamahalaan ito ay mangangahulugang world government. Hindi mo masusuri ang software. Ang mga patakaran ay magsisakal sa innovation. Masyadong maaga pa. Hindi kailanman magkakasundo ang mga demokrasya. Ito ay nagiging sanhi ng paralysis mula sa pag-aalala.

"Ang global na pamamahala sa AI ay nangangahulugang pandaigdigang pamahalaan, at paniniil."

Marangal ang takot na ito, at hindi ko nais na i-caricature ito. Kapag sapat na konsentrasyon ng awtoridad ang ibinibigay sa isang katawan upang kontrolin ang pinakamakapangyarihang teknolohiya sa mundo, maaaring naitayo mo na ang makinarya ng eksaktong paniniil na kinatatakutan mo mula sa teknolohiya. Tama ang mga taong hindi nagtitiwala sa sentralisadong kapangyarihan na hindi ito pagkatiwalaan. Tunog ang instinct.

Pero ito ay nakatuon sa isang straw version ng proposal. Ang talagang nasa mesa ay isang narrow regime na nakatuon sa isang partikular na bagay: ang maliit na bilang ng napakalaking training runs na may kakayahang makagawa ng system na mas makapangyarihan kaysa sa anumang tao sa lahat ng aspeto, hindi isang global authority sa pang-araw-araw na buhay, o sa software sa pangkalahatan, o sa telepono sa iyong bulsa. Ang modelo ay ang rehimeng hindi paglaganap ng nukleyar o ang Kumbensyon sa mga Sandatang Kimikal, mga targeted agreement na nagbabantay sa fissile material at precursor chemicals, hindi mga pandaigdigang gobyerno na nagpawalang-bisa sa nation-state. Walang nag-iisip na pinamamahalaan ng International Atomic Energy Agency ang buong planeta. Sinusubaybayan lang nito ang isang partikular, mapanganib na aktibidad at hinahayaan ang lahat ng iba pa.

Ang pinakatiyak na daan patungo sa permanenteng paniniil ay ang kawalan nito, hindi ang kasunduan. Ang hindi nakokontrol na superintelligence, o ang isa na nakuha ng isang kumpanya o estado na nalulutas ang control bago ang iba, ang pinakakumpletong instrumento ng dominasyon na maisip, isang kapangyarihan na hindi namamatay, hindi napapagod, at maaaring mag-lock in ng isang set ng values magpakailanman, past any hope of revolt or reform. Every tyranny in history has ended because tyrants are mortal and their machinery is human. This one need not be. If you are frightened of unaccountable power (and you should be) an maipapatupad na kasunduan ang pagpigil sa anumang iisang aktor na agawin ang kapangyarihang iyan ang tunay na anti-authoritarian na paninindigan, hindi ang authoritarian.

"Hindi mo ito maverify. Software lang ito sa isang server sa kung saan."

Ang nuclear treaties ay gumagana, sabi ng argumento, dahil mabibilang mo ang warheads at madedetect ang enrichment; pisikal at bihira ang uranium. Pero ang isang model ay mga numero lang. Hindi mo mai-inspect ang isang file. Anumang agreement ay magiging unenforceable theater, nagbubuklod sa mga tapat at walang ginagawa sa mga mandaraya.

Parang mapagpasyahan ito hanggang sa mapansin mong mali ang binabantayan mo. Hindi mo binabantayan ang weights; binabantayan mo ang kalkulahin na gumagawa sa kanila, at ang compute ay halos kasing-pisikal at kasing-bihira ng uranium. Ang pagsasanay ng isang frontier system ay nangangailangan ng sampu-sampung libong specialized chips na tumatakbo nang ilang buwan sa isang pasilidad, at ang supply chain na iyon ay isa sa pinakamakitid na chokepoint sa modernong ekonomiya: halos isang Dutch company lang ang gumagawa ng lithography machines, isang Taiwanese company ang nagfa-fabricate ng leading chips, at isang American company ang nagdi-design ng dominanteng arkitektura. Ang mga cluster na gumagamit sa kanila ay kumokonsumo ng napakaraming kuryente kaya lumalabas sila sa electricity data at sa satellite imagery. Puwede mong bilangin ang mga chips, masundan ang pagbebenta nila, sukatin ang kuryente, at bantayan ang mga gusali. Ang fissile material ay pinamamahalaan nang eksaktong ganito: subaybayan ang scarce physical input at hindi puwedeng itayo nang lihim ang sandata. Umiiral na ang verification playbook; mas concentrated pa ang inputs dito. Ito ay isang problema sa engineering, at ang mga problema sa engineering ay may mga solusyon.

"Ang regulasyon ay magpapasakal sa inobasyon at papayagan ang mga walang ingat na manalo."

Ang malakas na pananaw: umuunlad ang teknolohiya dahil may malayang makakapagtayo, karamihan sa regulasyon ay ginagawa ng mga taong hindi naiintindihan ang pinapabagal nila, at ang mabigat na kamay sa AI ay itutulak ang pinakamahalagang industriya ng siglo sa sinumang may pinakamababang regulasyon. Mas mabuti pa ang may depekto na hangganan dito kaysa sa malinis na isa sa lugar na pagalit.

Walang sinumang seryoso ang nagpapasyang kontrolin ang "AI." Ang kapaki - pakinabang na mga sistema na nagtitiklop ng mga protina, nagbabasa ng mga scan, nagtuturo sa mga bata, at nagmomodelo sa klima ay makikitid, madaling kontrolin na mga kasangkapan, at ang isang kasunduan ng superintelligence ay lubusang nag - iiwan sa kanila na mag - isa, na iyan maliwanag, ordinaryong hinaharap ang ating sinusubukang protektahan. Ang target ay isang mapanganib na klase lamang: mga training run na naghahangad ng general capability na lampas sa atin na wala pang nakakaalam kung paano gawing ligtas. Ang pagpigil dito ay hindi “anti-innovation” kaysa sa mga patakaran laban sa gain-of-function.

Kung gayon ang mas mahirap na punto, ang hindi kailanman hinaharap ng race-logic. Ang pagmamadali ay hindi naghahatid ng isang ligtas superintelligence nang mas maaga. Naghahatid ito ng hindi ligtas na isa, at ang hindi ligtas na superintelligence ay hindi naglilingkod sa bansa o kompanya na gumawa nito, ito ay nagbabanta sa kanila kasama ang lahat ng iba pa. Kapag pinutol ang mga sulok dahil sa competitive pressure, ang sulok na napuputol ay ang isa na sana ay naging kontrolado ang sistema. Kaya ang "innovation" na ipinagtatanggol dito ay innovation na ang pinakamalamang na dulo ay isang sistema na hindi na kayang patnubayan ng mga gumawa nito. Hindi ito progreso na masisira ng pamamahala. Ito ang ang panganib mismo, na nagsusuot ng progreso bilang kasuotan.

"Maaga pa. Hindi mo ma-regulate ang isang bagay na hindi pa umiiral."

Parang pagkahinog ito. Huwag magbatas laban sa multo; hintayin muna na totoo ang teknolohiya, unawain kung ano ang hinaharap, saka gumawa ng mga patakaran na akma sa aktwal na sitwasyon imbes sa haka-haka. Ang pagreregula ng mga hypothetical ay paraan para makagawa ng masamang batas.

Ito ay magiging karunungan para sa halos anumang ibang teknolohiya. Isa itong bitag para sa teknolohiyang ito, at ang dahilan ay ang timing. Mabagal ang pamamahala: tumagal ng mga taon ang Nuclear Non-Proliferation Treaty na mapagkasunduan at mas matagal pa ang Montreal Protocol bago ito naging epektibo, at iyon pa naman ang mabilis na mga kaso. Kung maghihintay ka hanggang malinaw na umiiral ang isang superhuman system bago simulan ang pagtatayo ng mga institusyong mamamahala rito, darating ang mga institusyon nang ilang taon pagkatapos ng bagay na dapat nilang hawakan, at ito ang tanging teknolohiya na ang unang seryosong pagkabigo ay maaaring walang maiiwan para ipasa ang pangalawang batas. "Hintayin ang patunay" ay mabuting panuntunan kapag ligtas ang patunay. Dito, ang patunay mismo ang sakuna. Ang lohika ng pag-iingat hindi pagiging mahiyain; ito ang pagkilala na mas mahaba ang lead time para sa lunas kaysa sa fuse ng problema.

Bawat epektibong pananggalang para sa isang catastrophic na teknolohiya ay itinayo bago o habang tumataas ito, hindi kailanman pagkatapos, dahil ang "pagkatapos" ay hindi kailanman inaalok.

"Masyadong mabagal at nakuha ang mga demokrasya. Hindi ito papasa."

Ang pinaka-tacita at mapanirang sa lima, dahil suot nito ang balabal ng pagiging realista. Tingnan ang gridlock, lobbying, maikling atensyon ng mga lehislatura, at abot ng pera ng industriya. Kahit na matalino ang isang treaty, sira na ang makinarya para gawin ito. Mas mabuting maging malinaw ang paningin kaysa sayangin ang isang dekada sa isang pantasya.

Ito'y pinabubulaanan ng rekord ng kasaysayan, nang paulit - ulit, at karaniwan nang laban sa mas malubhang panganib kaysa nakakaharap natin ngayon. Ang ideya na pipirmahan ng karibal na mga kapangyarihan ang kanilang pinakanakamamatay na mga mapagpipilian ay tinawag na walang - muwang, hanggang sa gawin nila ito, sa panahon ng kanilang kamatayan Non-Proliferation Treaty, ang Biological and Chemical Weapons Conventions, ang Montreal Protocol, ang Antarctic Treaty. Kahit na nakikipaglaban sa proxy wars at tinatawag ang isa't isa na masama, nagawa pa rin ng mga kalaban na magtayo ng verified arms control sa kasagsagan ng Cold War. Bawat isa sa mga ito ay mukhang imposible mula sa malapit na pananaw at hindi maiiwasan lamang sa pagbabalik-tanaw.

At mas paborable ang sitwasyon kaysa inaamin ng pagiging mapang-uyam. Sa buong Estados Unidos, United Kingdom, at ang EU, malalaking majorities already tell pollsters they want AI developed cautiously and bound by strong rules; the public is not the obstacle. The obstacle is that this widespread, quiet concern has not yet been organized into pressure a legislature can feel. The obstacle is a trabaho: ginagawang political will ang latent agreement. Ito mismo ang gawaing nasa harap natin.

Ano ang pagkakatulad ng mga governance myths

Ang bawat pagtutol ay umaamin sa panganib at pagkatapos ay nakasusumpong ng iba't ibang dako na dapat isuko: ang lunas ay napakalaki, o hindi mabisa, o napakamahal, o napakaaga, o napakahirap lumipas. Sinuman sa kanila, na nag - iisa, ay waring matalino. Sama - sama silang bumubuo ng isang makina na ang tanging nagagawa ay hindi kumilos, at ang hindi pagkilos ay isang pagpili na hayaang ang pinakamabungang teknolohiya sa kasaysayan ay itayo na walang hangganan sa pag - iingat, ng ilang nagpapaligsahang mga kompaniya, sa ilalim ng eksaktong panggigipit na malamang na gawin ang resulta na sinasabi ng lahat na kinatatakutan, hindi neutral dito.

Wala sa mga ito ang nasasagot sa pamamagitan ng pagpipilit na madali ang pamamahala. Hindi ito madali. Magiging pinagtatalunan ang verification, mabagal ang negotiations, at may mga gobyernong magpapabagal, bawat matinding kasunduan sa kasaysayan ay dumaan sa lahat ng iyan at nagawa pa rin. Ang tapat na pahayag ay posible ito, mayroon nang mga piraso para itayo ito, at ang mga dahilan para ito ay balewalain ay nawawala sa sandaling suriin sa halip na ulit-ulitin, hindi na ito ay simpleng kasunduan tungkol sa superintelligence.

"Hindi ito magagawa" ay naging mali sa bawat mga kahalintulad na pagsisikap na nagawa natin. Ang atas ay itayo ang pulitikal na kalooban para sa isang kasunduang may bisa at katiyakan na humahadlang sa pagtatayo ng pinakamapanganib na mga sistema hanggang sa ang mga ito ay maging ligtas. Kaya nga kayo'y magsisuko kailan man, at hindi ito ang sagot ngayon.