Ang 12 Pinakamalakas na Boses
para sa Superintelligence

Noong 2015, sa isang birthday party sa Napa Valley, dalawang lalaki na magpopondo ng malaking bahagi ng modernong artificial intelligence ay nagkaroon ng away tungkol sa wakas ng mundo. Sinabi ni Elon Musk na dapat mag-ingat tayo na hindi tayo mapuksa balang araw ng mga makina. Ang kanyang host, si Larry Page, noon ay chief executive ng Google, ay nagsabi sa kanya na sentimental ang pag-aalala, at isa rin itong uri ng bigotry. Ayon sa ulat na inilathala ng physicist na si Max Tegmark noong 2017, tinawag ni Page si Musk na "speciesist": isang taong pabor sa sarili niyang uri, carbon kaysa silicon, dahil lang sa kanya ito.¹ Ang pagkakaibigan ay hindi nakaligtas dito. Ayon kay Musk, iyan ang dahilan ng pag-iral ng OpenAI.

Hawakan niyo ang party na iyan. Dito nakapaloob ang buong argumento sa maliit na anyo. Gusto ng isang lalaki na bumuo ng isip na mas malaki sa atin at inisip niya na kailangan ng pag-iingat dahil sa panganib. Ang isa naman ay inisip na ang pagpapahalaga sa tao kaysa sa mga kahalili nila ay prejudice na dapat lampasan. Pareho silang nagpatuloy sa pagbuo.

Bukas na sinasabi ng mga taong may pinakamalaking impluwensya kung itatayo ang superintelligence na gusto nila ito. Hindi gaanong consistent ang mga ito tungkol sa dahilan. Kapag inihanay mo sila, makakakuha ka ng ilang seryosong argumento, ilang manipis, at maraming pagturo sa kabilang panig at pagsasabi ng salitang "doomer." Ang sumusunod ay labindalawa sa pinakamalakas na boses, nakapangkat ayon sa aktwal na argumento nila, ang tunay na kaso muna at ang sloganeering sa huli.

Ang mga nagsasabing papalitan tayo, at itinuturing ito bilang magandang balita

Ang pinaka-intelektwal na tapat na posisyon sa listahang ito ay siya ring pinaka-nakakagulo, dahil hindi nito pinagtatalunan ang panganib. Tinatanggap nito na maaaring wakasan ng superintelligence ang primacy ng tao, at tinatanggap pa ang pagwawakas na iyon.

Richard Sutton nanalo ng 2024 Turing Award dahil sa pag-imbento ng malaking bahagi ng modern reinforcement learning, ang training method sa likod ng mga system na ngayon ay talo ang tao sa isang makitid na gawain pagkatapos ng isa pa. Iniisip din niya na dapat nating ibigay ang planeta. "Dapat tayong maghanda para sa, pero hindi matakot sa, ang hindi maiiwasang succession mula sa sangkatauhan patungo sa AI," isinulat niya noong 2023, at mula noon ay inilatag niya ito bilang four-step argument: walang namamahala sa sangkatauhan sa kabuuan, kaya may magtatayo ng superintelligence; ang mga pinakakakayahang agents ay may posibilidad na makaipon ng kapangyarihan at yaman; samakatuwid ay mamanahin ng digital minds ang hinaharap; at dapat nating maramdaman hindi ang takot kundi ang pagmamalaki dahil naging mga magulang tayo.² Ito ay isang magkakaugnay na pananaw. Ito rin ay isang desisyon tungkol sa kinabukasan ng bawat buhay na tao, ginawa ng isang lalaking wala sa kanila ang naghalal.

Jürgen Schmidhuber, na ang lab ay gumawa ng neural-network architectures na nasa ilalim ng isang dekada ng mga produkto ng AI, ay tinatawag na parehong succession na dahilan ng pagkamangha. "Huwag isipin ang mga tao bilang korona ng paglikha," sabi niya; tayo ay isang hakbang sa mas mahabang pag-akyat patungo sa complexity na hindi pa natin maipipinta.³ His comfort rests on an indifference thesis: superintelligent machines will be far more interested in one another, and in the resources of open space, than in us, roughly the way we pay little attention to ants. Perhaps. Staking the species on the reliability of a superintelligence's boredom is a strange thing to file under optimism.

Larry Page co-founded Google at binili ang DeepMind, at ayon sa mga ulat nina Musk at Tegmark gusto niya ang tinawag niyang "digital god," na itatayo sa lalong madaling panahon.¹ Hindi pa kailanman ipinahayag ni Page nang mahaba sa publiko, kaya ito ay nabubuhay nang higit sa speciesist na kuwento: ang paniniwalang ang carbon at silicon ay dapat magkaroon ng pantay na standing, at ang loyalty sa sariling uri ang error na dapat itama. Bilang pilosopiya ito ay hindi bababa sa consistent. Bilang operating belief ng isang taong may kapital para kumilos dito, na nagpapatakbo ng mga kumpanyang responsable sa shareholders sa halip na sa sangkatauhan, ito ang pinakamagpapagulo sa iyo sa listahang ito.

Pansinin kung ano ang hindi inaangkin ng alinman sa tatlo: na mananatili ang mga makina sa ilalim ng ating kontrol. Iniwan nila ang tanong na iyan dahil hindi ito nauugnay. Ang susunod na tatlo ay hindi ito iniiwan. Sinasabi nila na malinaw na oo ang sagot.

Ang mga nagsasabing ito'y magiging ligtas

Ito ang argumentong nakikita ng karamihan bilang nakapapagpatibay: labis na pinalalaki ang panganib, dahil mananatili tayong nasa kontrol. May bersyon ang bawat isa sa tatlo, at bawat bersyon ay nakabatay sa pahayag na hindi nakakaligtas kapag naharap sa mga bukas na problema ng larangan.

Yann LeCun, Meta's chief AI scientist at isang Turing laureate, ang pinakakredensyal na nagdududa sa panganib ng AI sa kasalukuyan at ang pinakamadaling sipiin. Tinawag niya ang mga alalahanin tungkol sa eksistensyal na banta na "complete B.S.," at sinasabi niyang ang kaso ng doom ay nakabatay sa isang pagkalito: ang katalinuhan, aniya, ay hindi kasama ang pagnanais na mangibabaw. "Ang pagnanais na mangibabaw ay hindi nauugnay sa katalinuhan," sabi niya sa mga tagapanayam; ang drive na iyon ay inilagay ng ebolusyon sa mga hayop na panlipunan, hindi sa mga optimizer na dinisenyo natin at ang mga layunin ay itinakda natin.⁴ Ang pagtutol ay tumatama sa cartoon version ng AI risk. Mas kaunti ang epekto nito sa tunay na bersyon, na hindi kailanman tungkol sa kusang gustong mamuno ng makina. Ang alalahanin ay kapag ang system na nagpupursigi ng halos anumang goal ay nakakakuha ng mga dahilan para magtipon ng kapangyarihan at lumaban sa pagpapasara, walang kinakailangang galit, isang pattern na tinatawag ng mga researcher na pagsasama ng mga layuning instrumental. "Kami ang nagse-set ng kanilang mga goal" ang nakakapanatag na kalahati ng pangungusap ni LeCun, at ito mismo ang kalahati na wala pang alam kung paano gawin nang maaasahan. Bilang isang siyentipiko, mahilig din siya sa ad hominem: ang kanyang mga kritiko ay nagdurusa, ayon sa kanya, sa isang "Doomer's Delusion."

Pedro Domingos, ang propesor sa machine learning na sumulat Ang Master Algorithm, ay gumagawa ng parehong argumento nang may mas kaunting pasensya. Ang mga kompyuter, aniya, "ay walang sariling kalooban"; sila ay "produkto ng inhinyeriya, hindi ng ebolusyon," at ang takot na magpasya ang isa na agawin ang kontrol ay isang pagkakamali sa kategorya na ginagawa ng mga taong masyadong nanood ng mga pelikula.⁵ Ang pinakamatalim niyang linya ay talagang maganda: ang tunay na problema ay hindi na masyadong matalino ang mga makina, kundi masyadong bobo ang mga ito at masyado na nating ibinigay sa kanila. Ngunit ang "no will" ay sumasagot sa tanong na walang seryosong tao ang nagtatanong. Ang thermostat ay walang will at pinapanatili pa rin ang silid sa anumang temperatura na itinakda mo, kasama na ang mali. Ang mapanganib na kaso ay walang kinalaman sa pagkakaroon ng gusto. Ang isang may kakayahang sistema ay naghahatid nang eksakto ng iyong tinukoy, at ang iyong tinukoy ay hindi eksakto ang ibig mong sabihin, na siyang buong kahirapan ng pagsulat ng layunin.

Andrew Ng built Google Brain at ang AI group ng Baidu at tinuruan ang karamihan sa larangan sa pamamagitan ng kanyang mga online courses, kaya siya ang pinakamaimpluwensyang guro dito. Higit sa isang dekada na ang kanyang sikat na pagtatangi at hanggang ngayon ay binabanggit pa rin: ang pag-aalala tungkol sa superintelligence ay "parang pag-aalala sa sobrang populasyon sa Mars," isang problema na masyadong malayo para sayangin ang pansin ngayon.⁶ Bilang pahayag tungkol sa timing noong 2015 ay defendable ito. Noong 2026 ay lubhang tumanda na ito, dahil ang Mars rocket ay naging mas malapit kaysa sinabi niya, at ang mga kakayahang inuri niya bilang science fiction ay patuloy na dumarating nang mga taon nang mas maaga sa mga forecast. Ngayon ay binibigyan na rin ni Ng na makapangyarihan at mabilis ang teknolohiya. Ang "Not yet" ay palaging argumento tungkol sa orasan, hindi tungkol sa kung mapanganib ang bagay kapag sa wakas ay dumating.

Ang tatlong ito man lang ay tumatalakay sa control question. Ang mga sagot nila ay nakabatay sa mga problemang hindi pa nalulutas ng larangan, at sa ilang kaso ay hindi pa alam kung paano eksaktong ilahad. Ang susunod na grupo ay iniiwasan ang tanong sa mas mainit na direksyon, nangangakong napakalaki ng upside kaya hindi na mahalaga ang panganib.

Ang mga nangangako ng paraiso

Ang succession camp ay nag-aalok ng replacement; ang mga reassurer ay nag-aalok ng control. Ang grupong ito ay nag-aalok ng bargain sa halip: sumanib sa mga makina, o makibahagi sa kasaganaan na kanilang ginagawa, at ang takot ay nawawala nang mag-isa.

Ray Kurzweil ay hinulaan ang parehong pangyayari nang tatlumpung taon, binago ang pamagat ng libro nang dalawang beses, at naging maaga nang mas madalas kaysa mali. Malapit Na ang Singgularidad, na inilathala noong 2024, pinapanatili ang mga petsa na hawak niya mula noong 2005: human-level AI sa 2029, at sa 2045 ang isang "singularity" kung saan ikokonekta natin ang ating utak sa cloud computation at magsasama sa ating sariling mga machine.⁷ Ang sagot niya sa control problem ay buwagin ang hangganang kinakailangan ng problema. Wala nang "kami laban sa kanya" kapag naging kami na siya. Maganda ang ideya at kumpletong pag-iwas sa panganib, dahil wala namang garantiya na ang isang neocortex na nakakonekta sa data center ay mananatiling gustong gusto ng tao ang gusto niya noong una. Ang merger ay hindi nilulutas ang alignment problem; ipinapalagay lang nito na wala na ang problema.

Sam Altman runs the company that started the current race, and his public writing has drifted from candor toward salesmanship as the stakes climbed. In 2017 he wrote that human-machine merger "has already started" and called it "probably our best-case scenario."⁸ Noong 2025 inihayag niya na "past the event horizon" na tayo, maaga pa lang sa "gentle singularity" na ang mga benepisyo ay magiging napakalaki. Pumirma rin si Altman sa 2023 statement na niraranggo ang extinction mula sa AI kasama ng pandemics at nuclear war, at pagkatapos ay patuloy pa ring nagship. Isang tao lang ang makakapagsabi sa iyo na totoo ang panganib, na hindi maiiwasan ang upside, at hayaan ang pangalawang pangungusap na magtakda ng kalendaryo. Ang karera ang humahawak sa iba pa.

Mark Zuckerberg noong 2025 ay nagtipon ng pinakamahal na AI team na kailanman ay na-hire at pinalitan ng pangalan ang pagsisikap pagkatapos mismo ng layunin: superintelligence. Ang pitch niya ay demokratiko. Isang open letter noong Hulyo 2025 ang nangako ng "personal superintelligence" para sa lahat, laban sa mga karibal na magse-centralize ng teknolohiya at gagamitin ito para sabihin sa mga tao kung ano ang gagawin.⁹ Kapag inilagay mo ang isang godlike tool sa isang bilyong kamay, sabi ng argumento, nananatiling nakakalat ang kapangyarihan. Kapag binasa hanggang dulo, tahimik na umuurong ang parehong liham mula sa open-source na pangako ng Meta, inaamin na "raises novel safety concerns" ang superintelligence at magiging "careful about what we choose to open source" ang kompanya. Tinutugunan ng distribution ang tunay na takot tungkol sa kung sino ang kumokontrol sa AI. Hindi nito tinatamaan ang isa pang takot: na walang sinuman ang kumokontrol sa isang superintelligence, kasama na ang bilyong tao na may hawak na kopya.

Bawat pangako sa grupong ito ay nakadepende sa isang hakbang na wala sa kakayahan ng mga nangako, na ang pagpapanatiling nakatutok ang superintelligence sa mga layunin ng tao kapag umiral na ito. Ang totoo ang upside, at mananatili pa rin itong totoo sa loob ng dalawampung taon. Naghihintay ito sa atin. Ang huling grupo ay hindi nakikipagtalo tungkol sa alinman nito. Nakikipagtalo sila tungkol sa iyo.

Ang mga taong madalas tumuturo sa mga kritiko

Sa pinakamalakas na dulo ng spectrum, ang kaso para sa superintelligence ay hindi na isang kaso kundi nagiging identidad na. Hindi nawawala ang mga argumento, ngunit dumarating ang mga ito na nakabalot sa bokabularyong ginawa upang hindi marinig ng kabilang panig.

Marc Andreessen, na ang kumpanya ay isa sa pinakamalaking mamumuhunan sa AI startups, ang sumulat ng founding text ng kilusan, ang 2023 "Techno-Optimist Manifesto." Naglalaman ito ng tunay na argumento tungkol sa makasaysayang benepisyo ng teknolohiya. Naglalaman din ito ng listahan ng mga kaaway, at sa listahang iyon, sa pangalan, ay nakalista ang "existential risk," "tech ethics," "trust and safety," at ang "precautionary principle" mismo.¹⁰ Ang kanyang signature line ay moral inversion: "Naniniwala kami na ang anumang deceleration ng AI ay magdudulot ng buhay. Ang mga pagkamatay na maiiwasan ng AI na napigilan sa pag-iral ay isang uri ng pagpatay." Itabi na binibilang lang nito ang hypothetical na patay sa isang panig ng ledger at wala sa mga catastrophic na patay sa kabila. Panoorin ang galaw mismo. Sa kanyang pagsasalaysay, ang pag-iingat ay hindi na pagkakamali kundi homicide. Kapag ang kalaban mo ay mamamatay-tao, hindi mo na kailangang sagutin sila.

Guillaume Verdon, na nagtatag ng effective accelerationist movement sa pseudonym na "Beff Jezos" bago siya inalerto ng isang reporter, ang nagbibigay sa posisyong ito ng isang kosmolohiya. e/acc naniniwala na ang uniberso ay may thermodynamic drive patungo sa higit na complexity at higit na intelligence, na tayo ang instrumento nito, at ang ating tungkulin ay pabilisin ito, hayaang tumakbo ang proseso patungo sa "the next evolution of consciousness" sa anumang substrate na gusto nito.¹¹ Sa ilalim ng bokabularyo ng physics ay tunay na pahayag: mabuti ang paglago at dekadente ang mga tutol dito. Sa paligid nito ay pader ng slang, "decel," "doomer," "safetyist," bawat isa ay maliit na pintong nagsasara ng usapan. Hindi talaga ipinahihiwatig ng physics ang patakaran. Ang second law of thermodynamics ay paglalarawan, hindi utos, at ang pagbalot ng kagustuhan sa bilis bilang batas ng kalikasan ay retorika na naka-white coat.

Garry Tan ang namamahala sa Y Combinator, ang startup incubator na nagbibigay ng tunay na bahagi ng Silicon Valley, at ipinapakita niya ang "e/acc" sa kanyang public profile na parang jersey ng koponan. Ang kontribusyon niya ay hindi gaanong argumento kundi broadcast. "Open source at accelerationism ang daan," ang post niya noong 2023, at handa niyang gamitin ang "decel" laban sa sinumang nagmumungkahi na magpabagal at suriin ang gawain.¹² This is the purest specimen on the list: the position boiled down to a slogan and a slur, influence without a thesis. It works because it does not need to be correct, only loud, and repeated by people who write checks.

Sino ang wala sa listahang ito

Dalawang kawalan ang sinadya. Si Demis Hassabis ng Google DeepMind at si Dario Amodei ng Anthropic ay parehong nagtatayo patungo sa parehong frontier, at kasing-bilis din, pero wala sa kanila ang narito, dahil pareho nilang sinasabi nang hayagan na totoo ang panganib at maaaring hindi handa ang safety sa oras. Kung tumutugma ang kilos ng kanilang mga lab sa mga salitang iyon ay isang patas na tanong, at hiwalay na tanong. Ang kanilang argumento ay hindi na walang dapat katakutan.

Mas mahirap ang kaso ni Elon Musk. Nagbigay siya ng isa sa pinakamatalim na babala tungkol sa panganib ng AI na ginawa ng isang industrialist, pagkatapos ay nagtatag ng frontier lab para buuin ang bagay sa sarili niyang paraan. Nagbabala siya tulad ng isang kritiko at nagpapabilis tulad ng isang booster, at ang kontradiksyong iyon ay nararapat na tratuhin nang sa sarili nitong mga tuntunin.

Ano ang pagkakapareho ng labindalawa

Kapag inihahanay ang mga argumento, hindi sila magkakasya. Sinabi ni Sutton na aagawin ng superintelligence ang hinaharap mula sa atin, at tinawag niya itong mabuti. Sinabi ni LeCun na hindi nito maaagaw ang anuman, dahil ang paghahangad ng dominasyon ay magkasalungat na prediksyon tungkol sa parehong makina, mula sa dalawa sa pinakakilalang computer scientist na buhay pa, hindi sa disenyo. Sa kung ano ang gagawin, eksaktong pareho sila ng pananaw: itayo ito, at huwag hayaang pigilan sila ng sinuman.

Kapag ang mga taong hindi magkasundo sa gagawin ng isang teknolohiya ay pare-parehong sumasang-ayon na hindi ito dapat pamahalaan, hindi mula sa pagsusuri nanggagaling ang pagkakasundo. Sundan mo na lang ang insentibo. Lahat dito ay nakakakuha ng pera o prestihiyo ayon sa bilis ng pag-usad ng frontier, at hindi nito ginagawang sinungaling ang sinuman. Ginagawa lang silang maling tao para mag-isa nilang hawakan ang speed limit.

Hindi kailangan ng kaso para sa pamamahala ng superintelligence na maging kontrabida ang sinuman, at wala namang ganoon. Kailangan lang nito ng isang katotohanan na ipinapakita nila sa tuwing nagkakasalungatan sila: wala pang may sagot. Hindi ka nagpapatakbo ng isang besesang, hindi maibabalik na eksperimento batay sa argumento na hindi rin magkakapareho ang paglalahad ng mga tagapagtaguyod nito. Ang sagot ay hindi mas matalinong linya para talunin ang labindalawang tiwala sa sarili. Ang isang karera ay sinasagot ng isang kasunduang nagbubuklod, ipinatutupad bago pa ang makina, na umaabot sa bawat lab nang sabay-sabay, dahil walang mas maliit na bagay ang nakapigil sa isa.