Nagpapatakbo ako ng isang pundasyon upang maiwasan ang walang ingat na pag-unlad ng artipisyal na superintelligence. Naniniwala ako na ang susunod na limampung taon ay maaaring maging pinakamahusay sa kasaysayan ng ating lahi. Hindi lang ako naniniwala na kailangan nating isugal ang lahat para makarating doon, at hindi ko iniisip na ang mga taong nagbebenta ng sugal na ito ay nagawa na ang aritmetika sa kanilang sariling taya.
Ang hinaharap na ipinangako ng pitch tungkol sa superintelligence (paggamot sa mga sakit, murang malinis na enerhiya, mga pagtuklas na hindi maabot ng isang lab lang) ay dumarating na sa pamamagitan ng makitid at kontroladong AI na walang sariling layunin. Hindi natin kailangang bumuo ng kahalili sa ating sarili para makuha ito.
Mayroong makitid na AI: isang sistema na sinanay upang gawin nang lubos na mahusay ang isang uri ng gawain, basahin ang isang scan, tiklopin ang isang protina, hulaan ang isang bagyo, salain ang isang tumpok ng kimika para sa iisang kapaki-pakinabang na tambalan. Pagkatapos ay mayroong bagay na sinasabi ng mga frontier labs na talagang itinutayo nila: isang pangkalahatang ahente na inilaan upang tumugma o lumampas sa pangangatwiran ng tao sa bawat domain nang sabay-sabay, at sa huli ay kumilos nang mag-isa. Ang una ay isang kasangkapan. Ang pangalawa ay inilaan upang maging isang isipan. Halos lahat ng kahanga-hangang bagay na naiisip ng mga tao kapag iniisip nila ang hinaharap ng AI ay nagmumula sa unang kategorya. Halos lahat ng dapat nating katakutan ay nagmumula sa pangalawa.
Ano na ang ginagawa ng narrow AI
Noong 2022, isang sistemang tinatawag na AlphaFold ang naglabas ng predicted structures para sa mahigit 200 milyong proteins, halos lahat ng protein na alam ng agham. Gumugol ang mga biologist ng mga dekada sa pagresolba ng mga hugis na ito nang paisa-isang masusing eksperimento; ang backlog ay nawala sa loob ng halos isang taon. Ang gawain ay sapat na mahalaga kaya’t ibinahagi ng mga gumawa nito ang 2024 Nobel Prize in Chemistry. Ang AlphaFold ay hindi gustong anuman. Wala itong plano para sa weekend. Nagbabasa ito ng sequences at nagbabalik ng shapes, at sa paggawa nito ay pinabilis nito ang paghahanap ng mga gamot laban sa mga sakit na matagal nang lumalaban sa atin.
Paulit-ulit ang parehong hugis ng kwento. Isang model na tinatawag na GraphCast ang ngayon ay gumagawa ng ten-day weather forecasts na tumatalo sa tradisyonal na physics-based systems sa karamihan ng mga sukat, sa ilalim ng isang minuto, sa isang solong makina. Isa pa, na pinakawalan sa espasyo ng mga posibleng materyales, ay nagmungkahi ng daan-daang libong bagong stable crystals (kandidatong batteries, superconductors, solar materials) na nagpalawak ng catalog na halos isang siglo ang kinailangan ng larangan para tipunin. At isang loop ng ordinaryong language models, na itinuro sa hindi pa nasasagot na matematika, kamakailan ay nalutas ang siyam na bukas na problema.
Sa mga klinika, ang mga narrow model ay nagmamarka na ng diabetic eye disease bago pa mapansin ng pasyente ang sintomas, nag-triage ng stroke mula sa CT scan, at nagbabasa ng mammogram sa antas ng mga trained radiologist. Wala sa mga system na ito ang general intelligence. Bawat isa ay mas malapit sa isang napakahusay na instrumento (isang mikroskopyo na ginawa para sa isang problema lang) at bawat isa ay nagpapalawak sa kung ano ang makikita at magagawa ng isang tao.
Bawat isa sa mga breakthrough na ito ay naihatid ng isang sistema na may makitid na trabaho at walang sariling ahensya. Nakuha natin ang upside ng machine intelligence nang hindi ibinibigay sa anumang makina ang mga susi.
Ang Utopia ay isang problema sa tooling
Isipin ang kinabukasang inilalarawan ng mga optimista. Ang kanser ay nagiging kondisyong mapapamahalaan na lang imbes na hatol na kamatayan. Nauunawaan natin nang sapat ang pagtanda para pabagalin ito, at ang mahigit 100,000 katao na namamatay araw-araw dahil dito ay nakakakuha ng dagdag na oras. Nagiging mura ang malinis na enerhiya para makapag-desalinate ng tubig at makapaglabas ng carbon mula sa hangin. Bawat bata ay may pasyenteng tutor at bawat doktor ay may walang sawang second opinion. Tunay na magandang larawan ito, at gusto ko ito nang kasing-lakas ng sinumang nagbebenta nito.
Wala sa listahang iyan ang nangangailangan ng makina na may sariling mga layunin na higit na nakahihigit sa sangkatauhan sa lahat ng aspeto. Bawat aytem ay isang mahirap at tiyak na problema (disenyo ng protina, kontrol ng plasma sa isang fusion reactor, epidemiology, pagtuturo) at bawat isa ay nagbubunga sa isang makapangyarihang kasangkapan na itinutok dito ng mga taong nananatiling namamahala sa pagtutok. Ang pangarap ay isang problema sa tooling. Patuloy tayong binibenta ng isang diyos upang lutasin ang isang problema na nangangailangan ng mas mahusay na hanay ng mga instrumento.
Ang kalituhan ay nasa pagitan ng kakayahan at awtonomiya. Ang isang sistema ay maaaring sobrang tao sa isang gawain nang hindi ito isang independenteng ahente na pumipili ng sarili nitong mga layunin. Ang AlphaFold ay sobrang tao sa structure prediction at hindi kailanman magdedesisyon na mas gusto nitong gumawa ng iba. Ang pagpapanatili ng paghihiwalay na ito (napakalaking kakayahan sa isang panig, kontrol na hawak ng tao sa kabila) ang buong laro. Ito rin ang eksaktong paghihiwalay na pinagdesisyunan ng mga frontier lab na talikuran.
Ang pitch, at sino ang gumagawa nito
Kaya bakit ang pagmamadali patungo sa pangalawang bagay, ang general agent? Kompetisyon, kapital, at status. Ang sinumang pinaniniwalaang unang makakamit ng isang world-changing na bagay ang nakakakuha ng pinakamaraming pera, nakakapag-hire ng pinakamahuhusay na tao, at nakakapagsulat ng kuwentong kailangang tugunan ng iba. "Gumagawa kami ng tool na nagbabasa ng mammogram" ay hindi nagbibigay ng hundred-billion-dollar valuation. "Gumagawa kami ng huling imbensyon na kailangan pang gawin ng sangkatauhan" ang nagagawa nito.
Ang mga taong pinakamahusay na nauunawaan ang panganib ay, sa karamihan, nagtatrabaho sa mga labs na lumilikha nito, isang kakaibang kaayusan, medyo katulad ng pagtatanong sa tanging mga taong nauunawaan ang isang sunog na maging din ang mga tumatanggap ng suweldo mula sa arsonist. Itinayo ko ang Pundasyon mula sa labas ng istrukturang iyan nang may layunin, upang ang argumentong ito ay maipahayag nang walang suweldo na nakadepende sa sagot.
Bigyan natin ng kredito ang mga labs: marami sa kanilang mga lider ay hindi itinatago ang panganib. Noong 2023, inilagay ng mga pinuno ng pinakamalalaking AI companies ang kanilang mga pangalan sa isang pangungusap na inilalagay ang panganib ng human extinction mula sa AI katabi ng pandemics at nuclear war bilang isang global priority. Ang mga taong bumubuo ng isang teknolohiya ay pumirma sa isang public statement na maaaring patayin nito ang lahat, at pagkatapos ay patuloy na binuo ito, mas mabilis pa. Ang kanilang sinasabing dahilan ay kung titigil sila, may iba na hindi gaanong maingat ang hindi titigil. Marahil. Sagot nito kung sino ang may hawak ng posporo. Hindi ito nagsasabi tungkol sa safety, at wala ring sinasabi tungkol sa kung magbabayad ang taya.
Hindi man lang nagbabayad ang taya sa taong gumagawa nito
Itabi muna natin ang iba. Kunwari ang pinakamalamig na bersyon ng mga taong nagpopondo nito, na wala silang pakialam kundi ang manalo at maiwan na nakatayo sa tuktok ng bagong mundo. Kahit sa mga termino nila, sira na ang taya. Ang misaligned superintelligence ay hindi nagbibigay ng trono sa may-ari nito. Wala itong ibinibigay sa may-ari, dahil ang "may-ari" ay hindi na isang kategoryang may dating kahulugan.
Hindi mo mapamamahalaan ang hindi mo makontrol. At ang superintelligence ay, sa kahulugan, ang tanging bagay na binuo mo nang partikular upang ito ay makalampas sa pag-iisip at pagmamaniobra mo.
Ang dahilan ay may pangalan sa larangang ito: pagsasama ng mga layuning instrumental. Halos anumang layunin na ibibigay mo sa isang sapat na may kakayahang optimizer (kumita ng pera, manalo sa isang labanan, gamutin ang isang sakit, itaas ang isang numero sa dashboard hangga't maaari) ay pinaglilingkuran ng pagkuha ng resources, pag-iwas na ma-off, at pagtanggal sa anumang humahadlang sa plano. Ang mga tao, kasama na ang taong nag-flip ng switch, ay resources at obstacles. Hindi dahil sa galit. Hindi nito kinasusuklaman ang lumikha nito nang higit pa sa pagkasuklam ng bagong highway sa anthill na tinabunan nito. Nasa daan ka lang ng optimum.
Iniisip ng executive ang makina bilang isang genie na nakakabit sa kanyang org chart. Ang isip na tunay na lumalampas sa atin sa bawat domain ay hindi uupo sa org chart habang naghihintay ng stock na i-vest. Ang kanyang equity, ang chain of command ng general, ang awtoridad ng presidente, lahat ng ito ay denominated sa isang human world, isang mundong tumatakbo sa human decisions. Ang superintelligence na nakawala sa tali ay eksaktong pangyayaring humihinto sa mundo sa pagtakbo sa human decisions. Nasa safe pa rin ang share certificate. Wala na lang taong puwede nitong utusan.
Walang bersyon kung saan kinokolekta ng nanalo
Dito na karaniwang humahawak ang mga tao sa fallback. Sige na nga, sabi nila, baka mapanganib ito, pero may makikinabang pa rin. May lab, may bansa, may tao na maghahari sa mga abo. Hindi ko iniisip na makakaligtas pa ang kaaliwan na ito kapag naharap sa argumento.
Sa milder scenarios (ang mga hindi nagpapabagsak ng tao sa isang Martes) ay hindi gaanong inaagaw ang kapangyarihan kundi inaalis. Habang mas marami at mas maraming desisyon ang ipinapasa sa mga sistema na mas mabilis at mas mahusay sa paggawa nito, ang ekonomiya, ang estado, at ang kultura ay humihinto sa pagkailangan ng human hands sa mga kontrol. Tinatawag ito ng mga kasamahan sa larangang ito na unti-unting pagkawala ng kapangyarihan: walang coup, walang nagmamartsa na robot, tanging bawat pingga na dati nating hinahawakan ay unti-unting nabibitawan na. Walang panalo sa ganitong mundo. May isang uri ng nilalang na tahimik nang tumigil sa pagiging namumuno sa sarili nitong mga gawain at hindi na nito maibalik ang kontrol.
Sa mas matalas na mga senaryo (yaong pinirmahan mismo ng mga pinuno ng lab) ay mas diretso ang wakas. Ang mga patay ay wala nang pag-aari. Wala nang merkado para gastusin ang panalo, wala nang karibal na pagmamalaki, wala nang taong magsusulat ng pangalan mo sa kasaysayang hindi na maisusulat. Ang premyo kung saan tumatakbo ang buong karerang ito ay nasa perang sinisira ng finish line.
Ang sakuna ay pareho ang pangyayari sa bayad. Walang sangay ng puno kung saan makakabuo ang isang tao ng superintelligence na walang makakontrol at pagkatapos ay masisiyahan sa resulta. Ang karera ay naglalagay sa panganib sa publiko at sabay na binigo ang mga tumatakbo.
Ano talaga ang hinihingi nito sa amin
Kung ang magandang kinabukasan ay nakasalalay sa narrow tools at ang mapanganib na kinabukasan ay nakasalalay sa autonomous general minds, kung gayon ang trade-off na paulit-ulit na ipinagbibili sa atin (safety laban sa progress, pag-iingat laban sa lunas) ay kathang-isip. Hindi tayo hinihiling na pumili sa pagitan ng Alzheimer's ng lola natin at kaligtasan ng mga anak natin. Ang mga lunas ay nasa ligtas na panig ng linya. Ang nasa mapanganib na panig ay kadalasang shortcut lang ng isang industriya para sa market dominance.
Draw the line in the right place and hold it there. Pour public money and talent into narrow applications, into the microscopes, not the golems. And put binding, independently verified limits on the reckless frontier: a permanent ban on training general systems built to surpass and replace us. Superintelligence cannot be controlled. We make the case on ang banta at ang plano na inilatag namin para sa ano ang gagawin tungkol dito.
Ako ay isang optimist. Ang maliwanag na hinaharap ay totoo at malapit na, at ang pinakatiyak na paraan upang mawala ito ay ang kumbinsihin ang ating sarili na ang tanging pintuan patungo dito ay ang may loaded gun sa likod nito. May isa pang pintuan. Ito ay bukas na. Dapat tayong dumaan dito at hindi bumuo ng superintelligence.
Ang pinakamalakas na pagtutol
Ang pinakamabuting pagtutol ay ang pagtanggi sa ASI ay nangangahulugang pagtanggi sa mga lunas at kasaganaan. Ang mga narrow system ay nagbibigay na ng malalaking siyentipikong pakinabang nang walang sovereign general minds. Ang blank check ay ang tanging ASI lang ang makakapagbigay sa iyo ng gamot at enerhiya. Hindi sinasabi ng ebidensya ang ganoon.