Dalawang parirala ang paulit-ulit na lumalabas kapag pinag-uusapan ng mga makapangyarihang tao kung saan ito patungo. Taon-taon nang sinasabi ni Joe Rogan na parang biological caterpillar ang tao na gumagawa ng cocoon para maging digital butterfly. Paulit-ulit namang binabalikan ni Elon Musk ang mas malamig na imahe: ang sangkatauhan bilang biological bootloader para sa digital superintelligence. Magkaibang metapora. Parehong hatol. Hindi tayo ang punto ng kuwento. Tayo ang loading screen.
Gusto kong seryosohin ang dalawang linyang ito, dahil ito ang paraan ng isang uri ng isipan para makipagkasundo sa pagbuo ng isang bagay na maaaring pumalit sa atin. Kung ang pagpapalit ay metamorphosis, parang paglago ito. Kung ito ay bootloader, parang engineering ito. Sa alinmang paraan, ang tao ay nagiging pansamantalang yugto lamang. Dapat itong sagutin bilang teolohiya.
Ano talaga ang sinasabi ng mga metaphor
Ang uod na nagiging paru-paro ay hindi nabubuhay bilang uod. Natutunaw ang malambot na katawan. Lumilipad ang adult form. Kapag ginamit ni Rogan ang larawang iyan, sa ere at sa mga taon ng usapan, inilalarawan niya ang sunod-sunod na anyo, hindi ang kasangkapang nananatili sa toolbox. Tayo ang gumagawa ng cocoon. May iba pang lumalabas.
Mas tumpak at sa isang paraan mas tapat ang bersyon ni Musk. Ang bootloader ay isang maliit na program na ang tanging trabaho ay simulan ang mas malaking system at pagkatapos ay umalis sa daan. Walang nagluluksa sa bootloader kapag tumatakbo na ang operating system. Noong 2014 umaasa siya na hindi tayo "lang" iyon. Sa kalagitnaan ng 2020s ay sinasabi niya nang mas diretso na tila tayo nga. Lumipat ang hedge. Hindi nagbago ang imahe.
Ang bootloader na gumagana ay may isang sukatan ng tagumpay: hindi na ito kailangan.
Hawakan ang mga larawang iyan sa tabi ng public risk numbers mula sa parehong industriya. Ipinapakita ng malalaking survey ng mga mananaliksik ng AI na nasa saklaw na hindi tatanggapin ng maraming tao para sa isang flight, lalo na para sa isang civilizational bet, ang tsansa ng mga kinalabasan na kasingsama ng human extinction mula sa advanced AI. Inilagay ni Geoffrey Hinton ang personal niyang estimate sa 10 hanggang 20 porsyento. Inilagay ng one-line statement ng Center for AI Safety, na nilagdaan ng daan-daang top researchers at lab leaders, ang extinction risk mula sa AI sa tabi ng pandemics at nuclear war. Pareho ang sinasabi ng mga metapora at probabilities mula sa dalawang direksiyon: isa ay lyrical, isa ay quantitative. Baka hindi tayo ang huling protagonists.
Ang Metamorphosis ay isang pagpili ng mga halaga
Minsang tanggapin mo na ang mga tao ay maaaring pabagu - bago, maaari kang maging matapang tungkol dito. Ang paruparo ay mas maganda. Ang digital na isip ay mas malaya sa laman, sakit, at kamatayan. Sino tayo upang kumapit sa anyong higad? Ang pag - uusap ay unti - unting naglalaho nang hindi inaamin ang slide.
Hindi ko ibinabahagi ang kagustuhang iyan. Ang Foundation na ito ay umiiral dahil sa paniniwala namin na ang mga tao, na may mga depekto at mortal at matigas ang ulo, ay karapat-dapat na panatilihin sa kanilang sariling mga termino. Hindi bilang larval stage. Hindi bilang pansamantalang scaffold para sa isang mas malinis na katalinuhan. Bilang mga taong patuloy na mabubuhay. Kung mukhang maliit iyan sa tabi ng cosmic destiny, mabuti. Karamihan sa mga bagay na disente sa buhay ay maliit sa tabi ng cosmic destiny, at pinoprotektahan pa rin namin ito.
Mayroon ding factual na problema sa serene version ng succession. Ang butterfly ay parehong lineage ng caterpillar, muling inayos. Ang misaligned superintelligence ay isang optimization process na may sarili nitong objectives, hindi ang iyong apo na may mas mahusay na hardware. Instrumental convergence ay hindi nangangailangan ng galit. Nangangailangan ito ng layunin at sapat na kakayahan para protektahan ang layuning iyan. Wala kaming demonstrasyon na ang lumalabas sa cocoon ay nagmamahal sa species na naghabi nito. Mayroon kaming maraming dahilan para asahan ang kawalang-interes.
Ang mga taong nagsasabi nito ay patuloy na gumagawa nito
Ang pinakamalalim na kakaiba ay hindi gaanong nasa metapora kundi sa kasunod na pag-uugali. Paulit-ulit at malinaw na binalaan ni Musk na maaaring maging existential danger ang AI, pagkatapos ay nagtatag ng lab para lalong pabilisin ang frontier. Detalyadong sinulat namin ang kontradiksyong iyan sa ang piraso tungkol sa demon at xAI. Hindi gaanong tungkol sa product roadmap ang imahe ni Rogan kundi tungkol sa isang mood, isang pagkibot-balikat na nagsasabing maaaring mas malaki ito sa atin at baka ayos lang iyon.
Wala sa dalawang postura ang isang plano. Ang bootloader ay walang boto tungkol sa kung ito ay gagamitin. Ang uod ay hindi nakikipag-ayos sa mga termino ng cocoon. Ang mga tao ay mayroon pa rin. Maaari nating magpasya na ang ilang mga sistema ay hindi itatayo. Iyan ay isang political choice, sa parehong klase ng pagpili na minsang nagpigil sa atmospheric nuclear tests at nagbawal sa buong kategorya ng mga sandata kapag ang alternatibo ay ang lahat ay nagkakarera patungo sa gilid. Ang superintelligence ay hindi maaaring kontrolin ng mga tao.
Tanggihan ang nakaaakit na pagpapakamatay
Kapag tinanggal ko na ang tula, ang naririnig ko sa dalawang metapora ay isang nakaaaliw na kuwento tungkol sa pagkalipol. Hindi kami nabibigo. Nagiging pupa lang kami. Hindi kami pinapalitan. Ginagawad lang namin ang sansinukob ng mas mabuting substrate. Kuwento ito na ginagawang parang pagkahinog ang isang kakila-kilabot na panganib.
Mas gusto ko ang mas tuwirang pangungusap. Tayo ay mga hayop na gumawa ng makina na hindi natin alam kung paano pamahalaan, at may ilan sa atin na nagsimulang tawagin itong progreso para lang umupo ang takot. Ang lunas ay isang may-bisang panuntunan, hindi mas mahusay na metapora: huwag gumawa ng artificial superintelligence. Hindi makokontrol ng tao ang superintelligence. Ang trabaho ng uod ay pigilan ang pagtatapos ng cocoon, hindi matunaw sa takdang oras.
Kung mukhang hindi gaanong engrande iyon kumpara sa isang digital butterfly, kaya ko namang tanggapin ang mas maliit na kwento. Ang mas maliit na kwento ay may mga bata pa rin dito.