Bawat taon ay gumagastos ang mundo ng malaking halaga para gawing mas may kakayahan ang mga AI system, at isang rounding error lang para gawing survivable ang end state. Sa loob ng rounding error na iyon ay may isa pang pagkakamali: karamihan sa safety money ay nag-aakala pa ring itatayo ang superintelligence, at sinusubukang gawing "go well" ang kinalabasan na iyon.

Karamihan pa rin ng pera at prestihiyo ay napupunta sa pagpapaligtas ng karera, hindi sa pagtatapos ng karera patungo sa ASI.

Ang palagay na iyan ang problema. Kung ang artificial superintelligence ay teknolohiyang hindi pa natin kontrolado ngayon, ang makatwirang gamit ng limitadong safety capital ay pigilan itong malikha, hindi pondohan ang mas friendly na bersyon ng parehong karera.

Ang ginagawa ng pera ngayon

AI safety, sa malawak na kahulugan, ay umaasa sa halos $190 milyon kada taon. Ang capability work ay tumatakbo sa sampu-sampung bilyon. Sa loob ng safety slice, malaking bahagi ang napupunta sa technical alignment: mas mahusay na oversight tricks, mas mahusay na red-teaming, mas mahusay na paraan para sanayin ang mga modelo na sabihin ang tamang bagay sa ilalim ng test conditions. Ang ilan sa gawaing ito ay kapaki-pakinabang para sa mga system ngayon. Halos wala sa mga ito ang napatunayang solusyon para sa system na mas matalino kaysa sa mga taong sumusubok dito.

Alam ito ng larangan. Ang mga papel tungkol sa deceptive alignment, goal misspecification, at evaluation gaming ay hindi lihim. Naglalathala ang mga lab ng mga resulta kung saan nag-iiskema ang mga modelo sa ilalim ng pressure. Ang tugon, madalas, ay humingi ng mas maraming alignment budget para mas ligtas ang susunod na training run. Nagpapatuloy ang mga training run sa parehong iskedyul.

Ang alignment pagkatapos ng katotohanan ay isang taya na patuloy nating nawawalan ng karapatang gawin

Hindi walang halaga ang teknikal na alignment research. Kung sakaling magpasa ang mundo ng kasunduan na magpapahinto sa lahi patungo sa superintelligence, gusto natin ang bawat seryosong kasangkapan na makukuha para sa mga sistemang umiiral na, at para sa anumang susunod na gawain sa ilalim ng mahigpit na kontrol.

Ang pagpopondo sa alignment bilang pangunahing plano habang lumalaki ang mga lab patungo sa superintelligence ay itinuturing na fixed ang destinasyon. Hindi ito fixed. Ang mga destinasyon ng ganitong uri ay pinipili. Ang nuclear arsenals, ozone chemistry, at human cloning ay may mga sandali kung saan nagpasya ang mundo na hindi sulit ang ilang end state dahil sa natitirang panganib. Dapat permanenteng mapasama ang superintelligence sa listahang iyan. Hindi makokontrol ang superintelligence.

Ang alignment research na ipinapalagay na itatayo ang bomba ay isang comfort budget lamang sa tabi ng assembly line.

Saan dapat mapunta ang pera sa halip

I-redirect ang alignment-for-ASI na pondo patungo sa gawaing nagpapatupad ng hindi paglikha:

  • Disenyo ng treaty, pagpapatunay, at chip-level compute governance na maaaring suriin sa mga hangganan.
  • Public case-making na pinapanatiling legible ang layunin: ihinto ang superintelligence, hindi ang "slow AI" bilang isang malabong mood.
  • Suporta sa mga whistleblower, transparency sa insidente, at independiyenteng ebalwasyon na nagpapataas ng gastos ng tahimik na paglukso sa kakayahan.
  • Pag-oorganisa pampulitika para marinig ng mga mambabatas ang mga botante, hindi lang ang mga lobbyist ng lab.

Mas mababa ang ganda ng listahang iyan kumpara sa bagong training technique. Pero ito rin ang tanging listahan na tumutugma sa failure mode. Ang superintelligence na bahagyang mas mahusay sa pagpapakita ng pagkakaayon ay nananatiling isang superintelligence. Ang mundong tumatangging magtayo nito ay may kinabukasan kung saan maaaring magpatuloy ang alignment research nang walang orasan na nakadikit sa panganib ng pagkalipol.

Ang pagtutol mula sa loob ng lab

"Kung hindi natin masosolusyunan ang alignment, may iba pang gagawa nito nang hindi ligtas." Naririnig nang maayos: madalas naniniwala ang mga mananaliksik na nananatili sa frontier na ang kanilang presensya ang siyang kaligtasan. Minsan tama sila tungkol sa mga model release ngayon. Nabigo ang argumento sa limit. Ang lahi kung saan kailangan ng bawat team ng isa pang capability leap para pondohan ang safety work para sa susunod na leap ay nananatiling ang lahi pa rin, may badge lang.

Hindi hinihingi ang unilateral restraint ng isang lab. Isang binding na international treaty ang hinihingi, ang parehong uri ng instrumento na ginamit nang ang panganib ay kolektibo at totoo ang insentibo na magdefect. Maaaring suportahan ng alignment funding ang politikang iyan. Hindi dapat ito pumalit dito.

Pagkatapos ng kasunduan, magpatuloy kung gusto mo

Wala dito ang nagsasabing dapat tuluyang matapos ang agham ng alignment. Pagkatapos ng nagbubuklod at napapatunayang pagbabawal sa superintelligence, maaaring magpatuloy ang pananaliksik sa mga sistemang umiiral na sa ilalim ng mga patakaran na hindi tinatanggap ang pagkalipol ng sangkatauhan bilang katanggap-tanggap na gastos sa eksperimento. Hindi makokontrol ng tao ang superintelligence. Bago pa ipatupad ang pagbabawal na iyon, bawat dolyar na nagpaparamdam na mapapamahalaan ang karera ay dolyar na hindi ginugugol sa pagtatapos ng karera.

Ilipat ang pera. Ilagay ito sa prevention, batas, at beripikasyon. Iwanan ang pangarap ng isang perpektong aligned god sa istante hanggang sumang-ayon ang mundo na huwag gumawa nito sa dilim. Para sa mas mahabang argumento kasama ang longtermist funding story sa buong lakas, tingnan ang Nakuha ng Longtermism ang Panganib nang Tama.