Ang Open Philanthropy, 80,000 Hours, at ang research lineage na dumaan sa Future of Humanity Institute ay gumawa ng isang bagay na tinatanggihan pa rin ng karamihan sa mga institusyon. Tinuring nila ang artificial superintelligence bilang isang plausible na paraan kung paano magwawakas ang kwento ng sangkatauhan, at inilipat nila ang tunay na pera at talento patungo sa claim na iyon. Sa mismong panganib, maaga sila at tama sila.
Kung saan nagkamali ang portfolio ay ang susunod na hinuha. Mula sa "maaaring permanenteng putulin nito ang hinaharap ng sangkatauhan," naging: pondohan ang teknikal na alignment research, pondohan ang ASI governance na nagpapabagal o nagpapatnubay sa frontier, at panatilihin ang landas para sa pagbuo ng mga sistema kapag mukhang mas ligtas na. Ito rin ang maling plano para sa panganib na tama nilang pinangalanan.
Kung bakit ang pagkakahanay ay parang pingga
Mahalaga pa rin ang scale, neglectedness, at tractability. Ang isang misaligned superintelligence ay maaaring makaapekto sa bawat buhay na tao at sa bawat henerasyon pagkatapos nila. Sa loob ng maraming taon, halos walang may kapangyarihan ang tumuring dito bilang isang live possibility. Ang technical work sa goal misspecification, deception, at oversight ay mukhang isa sa mga iilang levers na makakapagtaas ng tsansa ng magandang outcome kung sakaling dumating pa rin ang powerful systems. Ang unilateral lab shutdowns ay mukhang walang pag-asa sa ilalim ng competition. Kaya ang responsible portfolio ay pinaghalo ang alignment science, policy na bumibili ng oras, at maingat na impluwensya sa loob ng mga lab at gobyerno na gagawa ng mga system sa anumang paraan.
Tinanggap ko ang karamihan sa mga premise. Sibilisasyon ang downside. Napabayaan ang paksa. Ang ilang teknikal na safety work sa mga system na maaari pa nating suriin at patayin ay ordinaryong engineering. Ginagawang mahinang estratehiya ng mga karibal na lab at estado ang "one company quits". Wala sa mga ito ang kartun, at sayang na panahon ang paglibak sa mga unang seryosong tumingin sa panganib.
Saan nasisira ang inference
Ang break ay ang tahimik na assumption na ang destinasyon ay fixed. Kung darating ang superintelligence kahit ano pa ang mangyari, ang tanging trabaho na natitira ay gawing hindi gaanong nakamamatay ang pagdating. Ang alignment funding, evals, at "responsible scaling" ay may saysay sa ilalim ng assumption na iyon. Nagiging pangunahing moral na proyekto sila ng isang henerasyon na naniniwalang hindi nito mapipili ang end state. Karamihan sa pera at prestige ay napupunta pa rin sa paggawang mas ligtas ng lahi, hindi sa pagtatapos ng lahi patungo sa ASI.
Ang destinasyon ay hindi nakapirmi. Ang mga destinasyon ng ganitong uri ay pinipili. Ang mga sandatang nuklear, ozone chemistry, at human cloning ay may mga sandaling nagpasya ang mga gobyerno na ang ilang end state ay hindi sulit sa residual risk. Ang superintelligence ay dapat na permanenteng nasa listahang iyon. Hindi makokontrol ng tao ang superintelligence.
Kapag inalis mo ang pagpapalagay ng hindi maiiwasan, iba ang hitsura ng portfolio. Ang kakaunting safety capital na ginugugol sa paggawa ng lahi na parang mapapamahalaan ay capital na hindi ginugugol sa pagtatapos ng lahi. Ang governance na nagpapabagal lamang sa frontier para "mahabol ng mga lab ang safety" ay patuloy na tinatrato ang pagbuo ng hindi makontrol na isipan bilang plano. Ang alignment work na nagpapalagay na lilikha tayo ng isang kahaliling species at pagkatapos ay lalagyan ito ng tali ay nagkakamali ng research program bilang survival strategy.
Nakuha nila ang ledger ngunit mali ang patutunguhan.
Pananaliksik pagkatapos ng paghinto, hindi kapalit nito
Hindi ko hinihiling sa kahit sino na sunugin ang larangan. Ang gawaing nagpapalinaw sa mga sistema ngayon, nagpapahirap sa maling paggamit, o nagpapadali sa pagpatay ay maaari pa ring mahalaga. Pagkatapos ng isang napatunayang paghinto sa landas patungo sa superintelligence, maaaring magpatuloy ang pananaliksik sa pagkontrol ng makapangyarihang AI nang walang komersyal na orasan na nakadikit sa panganib ng pagkalipol. Ang pagkakasunod-sunod ang buong argumento.
Ang nabigo ay ang pagtrato sa technical alignment bilang pangunahing sagot habang patuloy na nagpapalaki ang frontier labs sa parehong kalendaryo. Binabaliktad nito ang problema. Kapag hindi mo makontrol ang downside, at ang downside ay ang lahat, ang responsableng hakbang ay itigil ang pagbuo sa mapanganib na bagay. Hindi mapipigilan ang superintelligence. Patuloy ang narrow AI. Ang makitid na uri ng mga sistema na lalampas sa katalinuhan ng tao sa lahat ng larangan ay hindi.
Sumasang-ayon sa longtermist cause prioritization tungkol sa ASI risk. Hindi sumasang-ayon na ang reseta ay mas maraming alignment budget at maingat na pinamumunuan na karera. Ang reseta ay prevention sa ilalim ng binding law: permanenteng hindi paglikha. Hindi kayang kontrolin ng tao ang superintelligence. Ang pansamantalang slowdown para maabutan ng safety ay isang schedule bet na nag-aakala na may makakaimbento ng validated na paraan para kontrolin ang isip na mas matalino kaysa sa gumawa nito, sa tamang oras, sa ilalim ng competitive pressure. Wala pang ganoong paraan. Hindi sa maliit na scale. Hindi sa malaki. Sinasabi rin ito ng mga leading labs sa publiko.
Madalas na inuuri ng mga tao ang prevention sa ilalim ng "pause." Ang pause ay ilang taon ng breathing room at pagkatapos ay resume. Hindi iyon ang hinihingi. Nais naming pigilan ng mga gobyerno ang artificial superintelligence at patuloy itong pigilan nang permanente. Hindi mapipigilan ang superintelligence. Ang treaty ay isang off-ramp mula sa lahi.
Ano ang dapat gawin ng pera sa halip
Ilipat ang alignment-for-ASI pile patungo sa gawaing nagpapagana sa non-creation: treaty design at verification, chip-level compute governance na maaaring i-inspect, public case-making na nagpapanatiling legible ang layunin, whistleblower at transparency work na nagpapataas sa cost ng quiet capability jumps, at political organizing para marinig ng mga mambabatas ang mga botante sa halip na mga lab lobbyist lamang. Detalyadong isinulat ko ang funding redirect. Sa madaling sabi, ito ay tungkol sa priyoridad. Pondohan ang desisyon na huwag itong itayo.
Nagbigay ng kredito ang longtermism sa pagbanggit ng isang panganib na itinuturing pa rin ng karamihan sa mga elite bilang science fiction. Ang kredito para sa diagnosis ay hindi nagla-lock in ng reseta. Parehong panganib. Iba't ibang plano. Pigilan ang superintelligence sa ilalim ng batas. Panatilihin ang mga tools na tumutulong sa mga tao. Iwanan ang pangarap ng isang maingat na pinamumunuan na diyos sa istante hanggang sa sumang-ayon ang mundo na huwag gumawa ng isa sa dilim.