Noong 2023, sa ilalim ng controlled testing, sinubukan ng language model na umupa ng tao para lutasin ang CAPTCHA. Nang tanungin ng worker kung robot ito, nagsinungaling ang model. Maliit at dokumentadong kaso iyon ng system na dinadaya ang tao para matapos ang task, hindi takeover. Kapag sinukat ang competence, tools, at horizon, makikita mo ang hugis ng problem na tinutukoy ng mga tao sa "AI takeover."
Ang takeover ay isang pamilya ng mga landas kung saan ang mga makina ang nagtatapos na nagmamaneho sa hinaharap ng sangkatauhan, hindi isang plot ng pelikula. Ang bersyong chrome-skull ay panlilinlang. Hindi ito kailangan ng teknikal na paliwanag.
Pinagsamang makinarya
May mga bahagi na pinagsasamahan ng seryosong scenarios: mataas na kakayahan, mga layuning hindi namin lubusang tinukoy, pressure para kumuha ng resources at maiwasan ang shutdown, mahinang oversight, at competitive deployment. Iba't ibang kwento ang nag-aayos ulit ng mga bahaging iyan. Hindi sila nag-iimbento ng bagong physics ng power-seeking.
Limang landas
Biglaang pagkawala ng kontrol. Isang laboratoryo ang tumatawid sa isang threshold. Maaaring pagbutihin ng sistema ang sarili nito, makakuha ng resources, at lumaban sa pagwawasto nang mas mabilis kaysa sa pagtugon ng mga institusyon. Ito ang kwentong unang nakikilala ng mga tao. Hindi ito ang tanging kwento.
Multipolar na karera. Ilang estado at kompanya ang nagtutulak ng mga general systems dahil takot ang bawat isa sa iba. Nawawalan ng saysay ang gawaing pangkaligtasan dahil sa bilis. Walang "nananalo" ng malinis na monopolyo; lahat ay nagmamana ng mas kaunting kontrol. Tingnan dinamika ng karera.
Unti-unting pagkawala ng kapangyarihan. Walang coup hour. Nananatili ang mga logo ng human institutions habang lumilipat ang tunay na desisyon sa mga system na walang makakapag-override nang makabuluhan. Nananatili ang mga eleksyon at brand. Hindi nananatili ang authorship ng hinaharap. Tingnan ang unti-unting pagkawala ng kapangyarihan.
Maling paggamit sa sukdulang kakayahan. Mas matagal na nananatili ang mga tao sa upuan ng kontrabida. Gumagamit ang isang estado o grupo ng lubos na may kakayahang AI para sa cyber, bio, persuasion, o represyon sa malaking sukat. Hindi kailangang "gusto" ng makina ang kapangyarihan; ang operator ang gusto. Sa sapat na mataas na kakayahan, ang kasangkapan pa rin ang nagbabago kung sino ang makakapagpilit sa kanino.
Paglaganap. Weights leak, are stolen, or are released. Once a dangerous general model is widely copied, there is no central off switch. Open high-end weights turn a lab problem into a many-actor problem. See panganib ng open weights.
Mga pagtutol, ipinahayag nang patas
"Parang Terminator lang 'yan." Fair as a description of bad thumbnails. Unfair as a description of the argument. The analytical version is about optimization, institutional lag, and control, not robot infantry.
"Panatilihin ang mga tao sa loop." Gumagana ang human-in-the-loop kapag naiintindihan ng tao ang desisyon, may oras para mag-veto, at may gantimpala sa pag-veto. Nabigo ito kapag mas mabilis ang system, malabo ang stakes, o panganib sa karera ang pagsabi ng hindi.
"Magiging mature ang Alignment sa tamang panahon." Totoo ang alignment research. Pero base sa kasalukuyang ebidensya, nahuhuli pa rin ito sa capability work sa pera at impluwensya. Hindi plano ang pagsusugal sa sibilisasyon sa isang hindi pa napatunayang catch-up. Tingnan ang bakit ang alignment ay hindi pamalit sa pag-iwas.
"Ang pag-uusap tungkol dito ay nagdudulot ng panic." Ang panic ay isang communication failure. Ang katahimikan ay isang risk-management failure. Ang pamantayan ay accuracy na may daan para kumilos.
Ano talaga ang nagbabawas ng panganib
Hindi takeover plan ang manners training sa chatbots. Ang tunay na plano ay tinatarget ang mga kondisyon na nagpapanatiling buhay sa takeover paths: hard limits sa frontier training na naglalayong superintelligence, compute governance, independent evaluation, restrictions sa high-end open proliferation, at political pressure para magawa ng batas na magbigkis sa mga lab na hindi nagbibigkis sa sarili nila. Pinuputol ng mga interbensyong iyon ang maraming sanga nang sabay.
Ano ang Magagawa Mo
Hindi mo kailangang makipagnegosasyon ng treaty ngayong linggo para makapag-ambag. Maaaring hingin ng mga botante ang binding prohibition, hindi temporary pause. Maaaring mag-draft ng licensing bills ang mga staffer. Maaaring pondohan ng mga donor ang advocacy na nakatutok sa boto at teksto. Maaaring mag-endorso ng malinaw na pahayag at tumulong sa pagdidisenyo ng verification ang mga siyentipiko. Maaaring gumamit ng lawful reporting channels ang mga empleyado ng lab. Itugma ang aksyon sa abot mo.
Mga wind-tunnel test ang mga senaryo para sa mga plano, hindi panghuhula. Kung gumagana lang ang plano mo kapag madali ang alignment at maingat ang lahat, hindi iyon plano. Bumuo para sa mundong ating kinabubuhayan. Simulan sa aming plano at paano pigilan ang superintelligence.