Tuwing ilang buwan ay may bagong lab o foundation na nag-aanunsyo ng mas maraming pondo para sa alignment research. Seryoso ang pitch. Kung gagawa tayo ng mga sistemang mas matalino sa atin, mas mabuting siguraduhing gusto nila ang gusto natin. Iginagalang ko ang mga taong gumagawa nito. Dati ay tumatango-tango lang ako. Pagkatapos ay sinabi ko nang malakas ang layunin sa simpleng Ingles.
Ang paglutas ng alignment, sa sukdulang pinapahalagahan ng larangan, ay nangangahulugang mapagkakatiwalaang kontrolin ang isang bagay na higit na mas matalino kaysa sa bawat taong kasangkot sa pagbuo nito. Hindi isang calculator. Hindi isang protein folder. Isang pangkalahatang isipan na lumalampas sa atin sa lahat ng aspeto. Pinangalanan pa namin ang target: superyinteligensya.
Mas maraming ginagawa ang pangalang iyan kaysa sa mga papel.
Ano na ang Inamin ng Salita
Ang "super" ay nangangahulugang higit sa. Ang intelligence ay ang bagay na ginagamit natin para mag-imbento ng mga kasangkapan, makita ang mga butas, at manalo sa mga laban laban sa mas mahihinang isipan. Kapag gumawa ka ng sistema na higit sa iyo sa mga larong iyon, gumawa ka ng isang bagay na mas mahusay sa eksaktong mga kasanayang kailangan mo para mapanatili itong nakatali.
Parang iniisip pa rin ng mga tao na ang alignment ay isang software patch na darating bago pa mapansin ng system. Sinusubukan mong magsulat ng mga patakaran para sa isang manlalaro na sa huli ay mas mahusay sa mga patakaran kaysa sa iyo. Sinusubukan mong subukan ang isang estudyante na sa huli ay mas mahusay sa pagsusulit kaysa sa eksaminador. Sinusubukan mong mangasiwa sa isang empleyado na sa huli ay mas mauunawaan ang lugar ng trabaho, ang mga insentibo, at ang mga blind spot mo kaysa sa iyo.
Huwag itong tawaging safety plan para sa species.
Kung ano ang aktuwal na pinagtatalunan nila
Ang pagiging may - kakayahan ay patuloy na tataas sa gusto natin o hindi. Ang pagtanggi ng isang laboratoryo ay hindi nakapigil sa iba. Sa pananaw na ito, ang tanging may pananagutang paglipat ay ang makakuha ng hangga't maaari'y magaling sa pagtatakda ng mga tunguhin, pag-unawa ng pag-aaalinlangan, at pagpapanatiling maayos ng mga sistema, kung kaya't kung ang isang mapanganib na sistema ay lumilitaw ay mayroon tayong pagkakataon. Ang ilan sa gawaing iyan ay nakatutulong na sa mga modelo sa ngayon. Ang pagwawalang - bahala rito ay magiging walang - ingat.
Binebenta ko ang narrow half. Totoong engineering ang safety work sa mga system na maaari pa nating i-inspect at i-shut off. Ang hindi ko binebenta ay ang paglukso mula sa tulong sa mga model ngayon patungo sa samakatwid ay maaari nating i-align ang isang superintelligence nang sapat na mahigpit para ipusta ang sibilisasyon dito. Ang paglukso ay nagsasama ng palagay na ang control ay sumasabay sa bagay na kinokontrol. Parehong sumasalungat dito ang kasaysayan at common sense. Habang mas matalino ang kabilang manlalaro, mas hindi mukhang scheme ang iyong clever scheme at mas mukhang puzzle na lang ito.
Kailangan ng kontrol ang pagiging nangunguna
Bawat matibay na control relationship na alam natin ay nakabatay sa isang advantage: physical force, legal authority, impormasyong kulang sa kabilang partido, o ang kakayahang i-off ang system. Ang superintelligence, sa kahulugan nito, ay nag-aalis ng mga advantage na iyon. Kung mas mahusay nitong mamodelo ka kaysa sa pagmomodelo mo rito, nagiging theater ang mga test mo. Kung mas mabilis at mas malawak ang pagkilos nito kaysa sa oversight team mo, ang kill switch mo ay kwento lang na sinasabi mo sa sarili mo hanggang sa araw na hindi na ito available.
Ang pahayag na iyan ay tungkol sa end state na patuloy na pinopondohan ng mga tao, hindi laban sa bawat kapaki-pakinabang na papel tungkol sa mga modelong ngayon. Nagtatambak ang mga structural barriers: hindi mo lubusang masasabi ang mga human values, hindi mo mapagkakatiwalaang makikilala ang tunay na pagsunod mula sa pagganap, at lumalaki ang intelligence gap sa pagitan ng evaluator at sistema habang umuunlad ang sistema. Ang pag-asang mahuhulog ang huling hadlang bago ang deployment ay isang deadline fantasy, hindi agham.
Kung ang produkto ay mas matalino kaysa sa mga taong may hawak ng remote, hindi kailanman naging punto ang remote.
Ang pagiging tanga ay isang diagnosis
Ang pagtawag sa plano na dumb ay nagpapangalan sa category error; hindi nito iniinsulto ang mga researcher. Nagbubuhos kami ng kakaunting safety money sa paggawa ng successor species na maging maayos habang nagpapatuloy sa iskedyul ang karera sa pagtatayo ng successor na iyon. Parang pagpopondo ito ng mas mabuting asal para sa baha habang ginigiba pa rin ang dam sa upstream.
Ang matalinong galaw ay boring: huwag itayo ang bagay na hindi mo kontrolado. Maaaring patuloy na maghatid ng benepisyo ang narrow AI na nagfo-fold ng proteins, nagbabasa ng scans, at nagfo-forecast ng panahon. Nananatiling tools ang mga system na iyon. Ang superintelligence ay bagong locus ng agency, hindi lang mas malaking tool. Ang pagtrato sa "align it" bilang pangunahing plano habang nagkakarera ang mga lab ay kung paano pinapaniwala ng isang kultura ang sarili nito sa hindi maibabalik na eksperimento.
Ano ang gagawin sa pera sa halip
Ilipat ang alignment-for-ASI na pile patungo sa trabahong ginagawang totoo ang non-creation: treaty design at verification, compute governance na puwedeng i-inspect, public case-making na pinapanatiling malinaw ang layunin, at political pressure para marinig ng mga mambabatas ang iba pa bukod sa talking points ng labs. Hiwalay kong isinulat ang kaso para sa pagpopondo. Ang maikling bersyon ay sequence. Pagkatapos ng verified halt sa landas patungo sa superintelligence, maaaring magpatuloy ang pananaliksik sa makapangyarihang AI sa ilalim ng mahigpit na kontrol. Bago ang halt na iyan, bawat dolyar na nagpaparamdam na kayang pamahalaan ang karera ay isang dolyar na hindi ginugugol sa pagtatapos ng karera.
Hindi mo maaaring i-align ang superintelligence sa kahulugang kailangan ng pitch deck. Sinabi na ito ng salita mismo. Itigil ang pagpopondo sa pantasya na magagawa natin ito. Pondohan ang desisyon na huwag itong itayo.