Ako'y tinawag na isang manghuhula nang mas maraming ulit kaysa sa kaya kong bilangin. Gayundin ang halos lahat ng nagtatrabaho sa kaligtasan ng AI sa publiko. Ang etiketa ay dumarating bago ang pagtatalo. Bago ko nasabi ang isang salita tungkol sa mga probabilidad o timelines o kung ano ang ibig sabihin ng "kontrolin", ako'y nabukud - bukod na sa isang sisidlan, sa mga taong natatakot, sa mga nagnanais na maghinay-hinay dahil hindi nila kayang pangasiwaan ang hinaharap. Pinag - isa, at sa gayo'y pinaalis.

Ang kawili-wiling bagay tungkol sa "doomer" ay na ito ay gumagawa ng trabaho; ang kabastusan ay ang kasuotan, hindi ang dahilan.

Ang pinakamabisang galaw ng panig na accelerationist ay halos walang kinalaman kung tama sila o hindi.

Kung saan nanggaling ang salita

Noong 2022 at 2023, tumigil ang AI safety debate na maging internal na usapan lang ng mga mananaliksik at lumabas sa social media, kung saan nagkakaroon ng mga team at binibigyan ng pangalan ang mga team. Kinuha ng accelerationist camp (mga taong naniniwalang dapat buuin ang AI nang mabilis hangga't maaari) ang suffix na "e/acc" bilang badge at isinama sa kanilang mga username. Kailangan din nila ng pangalan para sa kabilang panig. "Doomer" ang naging tawag, kadalasang kasama ang "decel," maikli para sa deceleration, ang kasalanan ng gustong bumagal.

Naging mas matigas ang mood nang Oktubre nang i-publish ni Marc Andreessen ang "The Techno-Optimist Manifesto." Mas parang creed ito kaysa argumento, at kasama rito ang listahan ng tinatawag niyang enemy, kasama ang "existential risk" at "the precautionary principle," ang simpleng ideya na baka gusto mong maunawaan muna ang isang makapangyarihang teknolohiya bago ito i-deploy sa malaking sukat. Kapag inuri na ang concern mismo bilang "the enemy," kailangan na lang ng mas maikling label ng mga taong mayroon nito para sa araw-araw na gamit. Doomer ang natitira.

Gusto kong maging patas sa kilusang pinagmulan nito, dahil may tunay na argumento sa ilalim, at mayroon tayong sineryoso ito nang mahaba sa iba pang lugar. May mga substantive claims ang ilang accelerationists: na ang pag-unlad ang dakilang puwersang makatao, na may sariling panganib ang mabigat na regulasyon, na natututuhan ang teknolohiya sa pamamagitan ng pagbuo nito. Sulit na pagtalunan ang mga iyan. Ang "Doomer" ang madalas gamitin sa halip, hindi ang mga iyan.

Ano talaga ang Ginagawa ng Label

Ang doomer ay karakter, hindi claim. Ginagawa nitong personality type ang argumento, at hindi na kailangang sagutin ang personality types, kundi idiagnose na lang.

Tingnan kung ano talaga ang sinasabi ng safety side. Karaniwang ganito: ang tsansa ng catastrophe mula sa isang superintelligent system ay sapat na mataas (hindi sigurado, sapat na mataas) kaya dapat nating buuin ang kakayahang kontrolin ang mga system na ito bago natin buuin ang mga system. Maaari mong hamunin ang bawat bahagi nito. Maaari mong sabihin na mas mababa ang probability kaysa sa iniisip natin, na mas mahaba ang timeline, na mali ang frame ng "control", na mas maraming pinsala ang gagawin ng governance kaysa sa risk na tinutugunan nito. Lahat ng iyan ay tunay na usapan, at ang ilan ay usapang sulit talunin.

"Doomer" ang lumalampas dito. Sinasabi ng salita: ikaw ang uri ng tao na natatakot sa bukas. Ang posisyon mo ay mood, hindi thesis, at ang mga mood ay hindi nangangailangan ng rebuttal: ang pinakalumang maniobra sa retorika, ang argumento laban sa tao imbes na sa punto, na nakasuot ng bagong damit. Ang kagandahan nito ay hindi nito kailangang hawakan ang aktwal na hindi pagkakasundo. Inililipat nito ang buong laban mula sa "totoo ba ito" patungo sa "anong uri ng tao ang naniniwala dito," kung saan na desisyon na ng accelerationist ang sagot.

Ginagawa ng salita ang isang argumento sa uri ng personalidad, at hindi kailangang sagutin ang mga uri ng personalidad, kundi masuri lamang.

Bakit ito tumatalab

Gumagana ang label dahil binubuo ito ng mga bagay na gusto nang paniwalaan ng mga tao tungkol sa kanilang sarili.

Magsimula sa malinaw na bagay: walang gustong maging pessimist. Ang optimism ay nababasa bilang confidence at drive; ang pag-iingat ay nababasa bilang timidity at takot. I-frame ang pagpipilian bilang builder versus doomer at alam na ng karamihan kung aling upuan ang mas gusto nilang upuan. Nagawa na ng framing ang trabaho nito bago pa makarating ang isang katotohanan sa mesa.

Iginiguhit din nito ang isang bagay na mas malalim, isang tunay at higit na marangal na kwento na ikinukuwento ng America tungkol sa sarili nito. Mabuti ang progreso. Ang mga taong natakot sa riles, printing press, electric light ay mali, at naaalala sila ng kasaysayan bilang mga tanga. Kinukuha ng accelerationist ang buong kwentong iyan at inilalagay ang safety advocate bilang pinakabagong pangalan sa listahan ng mga takot na tao na mapapahiya ng hinaharap. Ito ay isang makapangyarihang kwento dahil madalas itong totoo. Ang galaw ay ipagpalagay, nang walang argumento, na totoo ulit ngayon, na ang superintelligence ay ang printing press at hindi isang bagong bagay. Kung ito ang parehong kwento ang buong tanong, at umiiral ang label upang hindi na itanong ang tanong.

Sino ang tinututukan ng salita

Ihanay ang mga taong tinuturukan nito at ang karikatura ay magkakawatak-watak sa iyong mga kamay.

Umalis si Geoffrey Hinton sa Google noong 2023 para makapag-usap tungkol sa panganib nang walang corporate minder; siya ang pinakamalapit sa founding father ng larangan. Dumating din si Yoshua Bengio, isa sa mga pinakamaraming binabanggit na mananaliksik na buhay, sa parehong pag-aalala mula sa sarili niyang gawain. Noong Mayo 2023, daan-daang siyentipiko at executive (kasama ang mga lider ng mga lab na nagmamadaling buuin ang teknolohiya) ang naglagay ng pangalan sa isang pangungusap na inilagay ang extinction risk mula sa AI sa parehong kategorya ng pandemics at nuclear war. Hindi sila takot sa teknolohiya. Sila mismo ang gumawa nito. Anuman ang tawagin mo sa posisyon nila, hindi ito inilalarawan ng "scared of the future"; paraan ito ng hindi pakikinig dito.

Pinapantay din ng salita ang malawak na spectrum sa isang tuldok. Napakalaking distansya sa pagitan ng taong naniniwalang halos tiyak ang catastrophe at ng taong naglalagay nito sa ilang porsyento at gusto pa rin ng insurance, ang distansya sa pagitan ng propeta at actuary. Pareho silang inuuri bilang doomers. Hindi nakikita ng label ang pagkakaiba dahil hindi naman iyon ang layunin nito; ang trabaho nito ay gawing mukhang isang wild-eyed cult ang technical, varied, at madalas na medyo moderate na hanay ng mga pananaw. Sumulat kami ng buong piyesa tungkol sa tunay na saklaw ng mga pagtatantya ng eksperto dahil mismo sa kadahilanang ito. Ang range ang bagay na idinisenyo ng label na burahin.

Ang pahiwatig

Narito ang paulit-ulit kong iniisip. Ang isang kilusan na tiwala sa sagot nito sa tanong ng kaligtasan ay hindi na kailangan ng palayaw para sa mga nagtatanong.

Kung talagang malapit sa zero ang catastrophic risk, iyan ay isang claim na kayang ipagtanggol sa harap ng publiko. Ipakita ang pangangatwiran. Ipaliwanag kung bakit mali ang mga researcher na gumawa ng mga sistema tungkol sa mga sistemang kanilang ginawa. Ipagtanggol na ang alignment ay madali pala, o na ang mas mataas na intelligence ay palaging nagdadala ng mas malaking pag-iingat, o na ang karera sa pagitan ng mga lab ay nagkukumpuni sa sarili bago pa may makapagputol ng fatal corner. Mahihirap na argumento iyan, ngunit umiiral ang mga ito, at kapag talagang ginawa ito ng mga accelerationist, maaari tayong magkaroon ng debate, ang debate na sinubukang makuha nang buo.

Ang salitang “doomer” ang pumupuno sa espasyo kung saan dapat sana ang argumento. Humihiram ka ng label kapag ayaw mong harapin ang punto. Mas mura ang pagbibigay ng pangalan kaysa sa pagpapabulaanan, at mula sa malayo ay mukhang sapat na ito para magmukhang panalo—kaya madalas hindi alam ng karamihan kung alin ang nanalo.

Paano ito sasagutin

Tanggihan ang frame. Sa sandaling maging builder-versus-doomer ang usapan, nawala na ang substance sa silid. Ibalik ito sa object level gamit ang isang tanong: anong probability ang inilalagay mo sa catastrophic risk, at bakit iyan ang numero? Halos walang sinuman na gumagamit ng salita bilang sandata ang makakasagot, dahil naroon ang salita para hindi na nila kailangang sagutin. Kung gusto mong makita kung paano talaga binubuo ang ganoong numero sa halip na i-assert, gumawa kami ng P(doom) calculator na nagpapaliwanag sa mga bahagi.

Pagkatapos ay tanggalin ang label sa claim. "Doomer" ay nagdidikit ng karikatura (isang pessimistang adik sa kadiliman na kinasusuklaman ang progreso) sa isang claim na karaniwang mas makitid at mas tuyo: na ang partikular na teknolohiyang ito ay may partikular na panganib na nangangailangan ng partikular na pag-iingat. Paghiwalayin ang dalawa. Maaari mong mahalin ang teknolohiya, naisin ang kasaganaan na inilalarawan ng mga accelerationist, maniwala na ang hinaharap ay maaaring maging kahanga-hanga, at naniniwala pa rin na dapat nating mapanghawakan ang superintelligence bago natin ito buhayin. Hindi iyan magkasalungat na posisyon. Ang kaso para sa mabuting kinabukasan dumadaan nang diretso sa pagkuha nito nang tama, hindi sa paligid nito.

Hindi sa tingin ko na karamihan sa mga taong gumagamit ng salita ay nagtatalo nang may masamang loob. Talagang mapang-akit ang framing, at madaling mapagkamalan ang confidence na tama, lalo na kapag may magandang kwentong kasama. Ngunit kapag ang pinakamalakas na galaw na magagawa ng isang kilusan laban sa mga kritiko nito ay ibigay sa kanila ang isang hindi kanais-nais na pangalan, sinasabi nito sa iyo ang isang bagay tungkol sa lupaing kinatatayuan nito. Ang aming kaso does not run on fear and it does not run on hating progress. It runs on one sturdy, unglamorous piece of prudence: for a mistake you cannot take back, you build the brakes first.