Hindi kailangang magtapos sa isang gabi ang kwento ng sangkatauhan. Maaaring lumipat ang mga desisyon sa mga sistema na nagtatakda ng presyo, apruba, logistics, at atensyon hanggang sa patuloy pa rin ang mga eleksyon ngunit wala nang authorship. Ang pagdulas na ito ay gradual disempowerment. Mas tahimik ito kaysa coup at mas madaling hindi mapansin habang ito ay nananalo.
Noong Enero 2025, anim na mananaliksik ang naglathala ng papel na nagsasabing maaaring hindi na mangyari ang kaganapan, at maaaring permanenteng mapalitan ang sangkatauhan. "Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development," ni Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, at David Duvenaud, ay naglalarawan ng kabiguan na walang kontrabida, walang breakout, at walang malinaw na sandali kung kailan pa posible itong pigilan. Ito ay ipinakita rin sa ICML 2025 bilang position paper, isang senyales kung gaano kalayo na ang narating ng argumento sa labas ng AI safety community na unang nagpalaganap nito.
Karapat-dapat basahin nang maingat ang papel, dahil tinutukoy nito ang isang uri ng panganib na hindi idinisenyo para mahuli ng karamihan sa gawain sa kaligtasan, kasama na ang karamihan sa mga tinutukoy namin sa site na ito.
Bakit sumusunod ang mundo sa mga tao ngayon
Nagsisimula ang argumento sa isang tanong na napakapangunahin kaya bihirang itanong: bakit nagsisilbi sa interes ng tao ang malalaking sistema? Walang damdamin ang ekonomiya tungkol sa atin. Ganoon din ang estado, o kultura. Hanggang sa lawak na nagsisilbi sila sa mga tao, ginagawa nila ito dahil tumatakbo sila sa mga tao. Kailangan ng mga ekonomiya ang mga manggagawa at customer. Kailangan ng mga estado ang mga nagbabayad ng buwis, sundalo, administrador, at botante. Kailangan ng mga kultura ang mga isipan ng tao para likhain, dalhin, at ipasa ang mga ito.
Ang dependence na iyon ay nagbibigay sa mga ordinaryong tao ng dalawang uri ng hawak sa makinarya. Ang una ay explicit: boto, pagbili, welga, demanda, pagbibitiw. Ang pangalawa ay mas tahimik at malamang na mas mahalaga. Ang isang sistema na nangangailangan ng partisipasyon ng tao ay kailangang panatilihing may kakayahan at handang lumahok ang mga tao. May interes ito, kahit impersonal, na tayo ay pinapakain, tinuturuan, malusog, at kahit papaano ay kontent. Tinatawag ito ng papel na implicit alignment, at ito ay nanatili, hindi pantay ngunit patuloy, sa bawat technological shift hanggang ngayon.
Pinuputol ng AI ang pagdepende. Kapag kayang gawin ng mga makina ang trabaho, gumawa ng desisyon, gumawa ng content, at makipaglaban sa digmaan, hindi na kailangan ng mga system na dating nangangailangan sa atin. Wala sa pangungusap na iyan ang nangangailangan na maging hostile ang anumang AI, o kahit na partikular na may kakayahang long-term planning. Kailangan lang na sapat na kapaki-pakinabang ang AI para patuloy na magkaroon ng lokal na saysay ang pagbibigay ng mga bagay.
Tatlong sistema, umaanod sa parehong direksyon
Sinusundan ng papel ang mekanismo sa tatlong domain, at paulit-ulit ang pattern sa bawat isa.
Ang ekonomiya
Ang leverage ng tao sa ekonomiya ay nagmumula sa pagiging kailangan bilang labor at pagiging hinahabol bilang customer. Habang sinisipsip ng AI ang cognitive work, ang labor half ng leverage na iyon ay lumiliit nang papunta sa zero. Ang customer half ay mas mabagal na nawawala pero nawawala rin: lumalaki ang bahagi ng economic activity na nagiging machine-to-machine, mga kompanya na nakikipagkalakalan sa mga kompanya, mga model na nakikipagnegosasyon sa mga model, habang ang human consumption ay nagiging maliit na bahagi na lang ng ino-optimize ng sistema. Ang kita ay naiipon sa mga nagmamay-ari ng AI capital. Lalong lumiliit ang economic vote ng lahat ng iba.
Ang estado
Dito ay gumagamit ang papel ng isang historical analogy na may tunay na ebidensya: ang rentier state. Ang mga gobyernong pinopondohan ng langis imbes na buwis mula sa mamamayan ay, sa karaniwan, mas hindi demokratiko at mas hindi responsive. Kaya nila ito dahil hindi sila umaasa sa pera ng mga mamamayan. Ang estado na ang kita ay nagmumula sa AI-driven industry, ang administrasyon ay automated, at ang security forces ay hindi nangangailangan ng maraming tao ay isang rentier state para sa buong populasyon. Hindi nito kailangang maging tyranny. Sapat na na wala na itong structural na dahilan para alalahanin ang gusto ng mga tao, at ang mga structural na dahilan ang nananatili kapag naubos na ang goodwill.
Kultura
Ang kultura ay parang soft case, at ang papel ay nangangatwiran na maaaring ito ang pinakamapanganib. Ang mga ideya, kwento, at norms ay palaging umuunlad sa ilalim ng selection pressure, ngunit ang selection ay dumadaan sa mga isipan ng tao: kumakalat ang isang ideya dahil sa tingin ng mga tao ay sulit itong ulitin. Kapag karamihan ng content ay ginagawa, sinasala, inirerekomenda, at lalong kinokonsumo ng mga makina, ang mga ideya ay nagsisimulang umunlad sa ilalim ng ibang pressure, na-optimize para sa engagement o persuasion sa halip na paglilingkod sa mga tao na nagho-host sa kanila. Ang kultura rin ang layer kung saan nabubuo ang ating pakiramdam kung ano ang normal at kung ano ang sulit na hangarin. Kung ang layer na iyan ay hinuhubog ng mga sistema na walang stake sa human flourishing, maaaring mawala sa atin ang kakayahang gustong lumaban sa iba pang drift.
Ang mga loop na nagsasara ng mga labasan
Maaaring mahuli at maitama ang alinman sa mga trend na ito. Ang mas madilim na punto ng papel ay ang tatlong domain ay nagpapatibay sa isa't isa, kaya't lalong nahihirapan ang mga pagwawasto habang lalong nagiging kinakailangan ang mga ito.
Ang economic power ay bumibili ng political influence, kaya mas nagiging mahusay ang mga benepisyaryo ng automation sa pagharang ng mga patakaran na magpapabagal dito. Ang mga estado na nagkukumpitensya para sa paglago at military advantage ay humihikayat ng AI capital at nagpapabilis ng handover; walang gobyerno ang gustong magkaroon ng datacenters ng mga karibal nito. Ang AI-shaped culture ay nag-normalize sa bawat bagong delegation, at ang mga taong lumaki sa machine-mediated na lahat ay nahihirapang isipin ang alternatibo. Ang drift ng bawat sistema ay nag-aalis ng preno sa iba. Ito ang parehong structural trap na inilalarawan namin sa aming piraso tungkol sa dinamika ng karera, na nagpapatakbo sa loob ng mga lipunan imbes na sa pagitan nila, at kaya tinatrato ng papel ang endpoint bilang posibleng hindi na mababawi. Nangangailangan ng levers ang pagwawasto. Ang mga levers ang nawawala.
Walang kailangang agawin ng kapangyarihan. Kailangan lang nating patuloy itong ibigay, isang makatwirang desisyon sa bawat pagkakataon.
Bakit walang fire alarm
Ang mga takeover scenario, anuman ang posibilidad, ay may kasamang tripwire man lang. Isang sistema na nahuli na nagsisinungaling tungkol sa mga intensyon nito, isang mapanlinlang na pagliko, isang escape attempt: mga pangyayari ito, at ang mga pangyayari ay maaaring mag-trigger ng tugon. Ang gradual disempowerment ay walang ganoong kaginhawahan. Bawat hakbang ay boluntaryo. Bawat hakbang, sa pagkakabukod, ay may katwiran. Ang firm na nag-a-automate ng mga analyst nito ay nakikipagkumpitensya sa hindi gumagawa nito. Ang agency na nagpapagawa ng model sa draft ng regulations nito ay naaalis ang backlog. Ang politician na gumagamit ng AI-optimized messaging ay nananalo.
Sinumang tumanggi, sa prinsipyo, na ibigay ang kaniyang bahagi ng makina ay talo lang sa sinumang hindi tatanggi, at ang kabuuan ng lahat ng indibidwal na makatwirang pagpiling iyan ay isang sibilisasyong walang pumili.
May pinagmulang ideya ito. Ang 2019 essay ni Paul Christiano na "What Failure Looks Like" ay naglarawan ng isang mundo na nawawala nang tahimik, kung saan ang mga sistema ay nag-o-optimize ng proxies para sa gusto natin hanggang sa ang proxies na lang ang natitira. Ang idinagdag ng 2025 paper ay istruktura: mga pinangalanang mekanismo, ang rentier-state evidence, ang cross-domain feedback loops, at ang tuwirang pahayag na ito ay kabilang sa parehong kategorya ng extinction-level threats, dahil ang permanent, unrecoverable loss ng human influence sa hinaharap ay isang existential catastrophe kahit walang namatay sa araw na ito ay naging irreversible.
Ang pinakamalalakas na pagtutol
Nakatanggap ang papel ng matinding pagtutol, at may ilan sa mga ito ang may saysay.
Pagmamay-ari. Ang pinakakaraniwang pagtutol: ang mga tao ang nagmamay-ari ng kapital. Kung ang AI ang gumagawa ng trabaho, ang kita ay patuloy na napupunta sa mga human shareholders, kaya nananatili sa mga tao ang kapangyarihang mahalaga. Ang sagot ay ang pagmamay-ari ay isang claim, ipinapatupad ng mga korte, registries, regulators, at sa huli ng mga estado, na eksaktong mga institusyong inilalarawan ng papel bilang lumalayo sa kontrol ng tao, hindi isang pisikal na katotohanan. Ang halaga ng isang share certificate ay katumbas ng halaga ng enforcement sa likod nito. At kahit na perpektong mapanatili ang pagmamay-ari, ito ay para lamang sa napakaliit na bilang ng mga tao, na hindi isang rebuttal sa disempowerment kundi isang paglalarawan nito, kasama ang ang mga halaga ng isang maliit na grupo na nakakulong sa para sa lahat.
Pag-angkop. Na-absorb ng mga lipunan ang printing press, ang factory, at ang computer, at nakaligtas ang impluwensya ng tao. Ngunit pinalitan ng bawat isa sa mga teknolohiyang iyon ang partikular na mga gawain habang dinadagdagan ang halaga ng human judgment sa ibang bahagi ng sistema. Ang general substitute para sa human cognition ay ang hagdan na nagtatapos, hindi isa pang rung sa hagdan na iyon. Ang nakaraang adaptation ay dumaan sa mechanisms, bagong trabaho, bagong political coalitions, bagong cultural movements, na lahat ay nakasalalay sa pangangailangan ng tao sa isang lugar. Tinatanggal ng bagong teknolohiya ang premise na iyon.
Sabay-sabay. Napapansin din ng mga skeptics na nangangailangan ang sakuna ng sabay na pagbagsak ng ekonomiya, estado, at kultura, at ang pagpapatong ng tatlong hindi tiyak na forecast ay dapat magpababa sa probabilidad. Tama, maliban sa hindi independent ang mga pagbagsak. Ang feedback loops ang punto. Ang parehong underlying variable, kung gaano pa kailangan ng bawat system ang mga tao, ang nagpapagalaw sa lahat ng tatlo, kaya correlated ang mga pagbagsak hindi coincidental.
Kung saan pinaka-nakumbinsi ang mga kritiko, sa tingin namin, ay sa timing at pagkakumpleto: ang papel ay isang balangkas lamang, at halos walang sinasabi tungkol sa bilis ng lahat ng ito o kung aling institusyon ang unang babagsak. Tinutukoy nito ang direksyon ng presyon. Hindi nito tinutukoy ang petsa ng pagdating.
Ano talaga ang kailangan para sa pag-iwas
Ang hindi komportableng katangian ng panganib na ito ay hindi ito tinatamaan ng karaniwang safety agenda. Ang alignment, sa karaniwang kahulugan, ay nagpapagawa sa bawat sistema ng gusto ng operator nito. Bawat sistema sa gradual disempowerment story ay maaaring makapasa sa pagsubok na iyon habang ang kabuuan ay patuloy na gumagalaw, dahil ang problema ay isang sibilisasyong muling nag-aayos sa paligid ng mga makina, nang may pagsunod, hindi mga makinang suwail. Nagsulat na kami noon tungkol sa kung bakit ang pagkawala ng kontrol ay isang problema sa sistema imbes na problema ng isang model lamang; ito ang pinakamalakas na akademikong pahayag ng kasong iyan.
Maaga pa ang mga panukala ng mga may-akda at sinasabi nila iyon. Sukatin nang direkta ang impluwensya ng tao sa mga pangunahing sistema, tulad ng pagsukat ng ekonomiya sa inflation, para makita ang pagbaba habang maaari pa itong itama. Patibayin ang mga mekanismong nagpapanatiling may pananagutan ang mga institusyon sa mga tao, ang hindi gaanong kaakit-akit na makinarya ng demokratikong pangangasiwa, disclosure, at batas. At paunlarin ang tinatawag nilang ecosystem alignment: mga paraan para panatilihing nakaangkla sa human preferences ang mga dynamics sa antas ng sibilisasyon, hindi lang ang mga indibidwal na model.
Sa listahang iyan ay idaragdag namin ang bahaging binanggit ng papel pero hindi pinalawig. Lahat ng nabanggit ay nasisira ng kompetisyon. Ang bansang nagpapanatili ng tao sa loop nito ay tumatanggap ng hadlang na tinatanggihan ng mga karibal, na siya ring collective action problem na tumatakbo sa bawat iba pang paraan para mawalan ng kontrol, at pareho ang hugis ng sagot: binding agreements na inaalis ang pinakacorrosive na anyo ng karera sa talahanayan, verified nang sapat para hindi maging competitive sacrifice ang pagpigil. Iyan ang ang gawaing umiiral ang Foundation na ito para isulong.
Ang gradual disempowerment ay, sa isang kahulugan, ang pinakamahirap na bersyon ng problema—isang sakuna na binuo nang buo mula sa mga lokal na makatwirang desisyon. Ito rin naman, sa ibang kahulugan, ay nakapagpapalakas: hindi tulad ng treacherous turn, ito ay nangyayari nang sapat na mabagal para makita, basta may sumusukat, at sapat na mabagal para pigilan, basta gumagana pa ang mga lever kapag inabot natin ang mga ito. Ang ambag ng papel ay sabihin, nang may katumpakan at maaga, kung aling mga lever ang dapat bantayan.