Karamihan sa AI safety discussions ay nakatuon sa senaryo kung saan ang AI systems ay itinataguyod ang mga layuning malinaw na masama, mga layuning direktang humahantong sa pinsala sa tao. Ang value lock-in ay mas banayad at sa ilang paraan mas nakakagambalang senaryo: ang permanenteng pag-encode ng mga layuning tila mabuti sa panahon ng pag-encode, ngunit hinaharang ang moral na pag-unlad na sana ay napabuti pa ang mga ito.
Ginagawang imposible ng value lock-in ang mga pagwawasto na iyan.
Simple lang ang konsepto. Ang isang superintelligent AI system, o isang entity na pinapagana ng AI, ay nakakakuha ng sapat na kontrol sa mga yaman at sistema ng mundo para permanenteng ipatupad ang anumang values na ibinigay o tinanggap nito. Mula noon, ang mga values na iyon ang humuhubog sa lahat ng resulta, at wala nang paraan para baguhin pa. Puwedeng sinasadya ang lock-in (may aktor na sadyang nag-encode ng kanyang values) o hindi sinasadya (sobrang lubos na na-maximize ng sistema ang layunin nito kaya nauunahan nito ang anumang alternatibo). Sa alinmang paraan, nagiging fixed na ang hinaharap.
Ang historical argument laban sa anumang lock-in
Ang pinakamakapangyarihang argumento laban sa value lock-in ay hindi philosophical kundi historical. Bumalik tayo ng dalawang siglo at tingnan kung ano ang itinuturing ng mga tao noon na obvious moral truths. Legal at sosyal na tinatanggap ang slavery sa karamihan ng mundo, kasama na ang mga bansang may sopistikadong philosophical traditions at malinaw na commitments sa human dignity. Ang legal na katayuan ng kababaihan bilang property ng kanilang asawa o ama ay unibersal. Ang mga gawaing ngayon ay kinikilala bilang torture ay karaniwang bahagi ng criminal justice systems. Walang karapatan ang mga bata laban sa kanilang mga magulang o employer.
Hindi natatangi ang mga tao noong mga panahong iyon sa pagiging malisyoso. Marami sa kanila ay mapag-isip at moral na seryosong mga tao na maingat na nag-isip tungkol sa etika. Dumating sila sa mga posisyong lubhang mali ayon sa anumang kontemporaryong pamantayan. At tiyak sila na wasto ang kanilang mga halaga, ang parehong moral na katiyakan na nagpatingin sa lock-in na makatwiran sa marami sa kanila.
Patuloy ang pattern. Isang siglo na ang nakalipas, halos lahat ng Kanluraning lipunan ay hayagang naniniwala sa racial hierarchy na ngayon ay itinuturing na parehong mali sa katotohanan at moral na kasuklam-suklam. Limampung taon na ang nakalipas, ang homosexuality ay inuri pa ring mental illness sa mga pangunahing medical reference works. Kitang-kita sa hindsight ang moral errors ng mga nakaraang henerasyon. Kakaiba naman kung ang ating panahon na lang ang nakamit ang moral perfection at wala nang katulad na errors na naghihintay ng pagwawasto.
Kung naglalaman ng mga error ang kasalukuyang values (at iminumungkahi ng makasaysayang pattern na mayroon nga) kung gayon ang permanenteng pag-encode ng kasalukuyang values ay permanenteng pag-encode ng mga error na iyon. Ang mga susunod na henerasyon na sana ay natuklasan at naitama ang mga error na iyon ay wala nang mekanismo para gawin ito. Pinapanatili ng lock-in ang lahat sa kasalukuyang values natin, ang mabuti at ang mga error, magpakailanman.
Bakit mapanganib ang kahit na benevolent lock-in
Isang karaniwang tugon sa value lock-in concerns ay: "Paano kung ang mga values na na-lock in ay tunay na mabuti?" Hindi nito nasasagot ang problema. Ang pagtatasa na ang mga values ay "tunay na mabuti" ay dapat ding gawin gamit ang mga values na pinag-uusapan. Walang external standpoint kung saan masusuri kung sapat na mabuti ang kasalukuyang values para bigyang-katwiran ang permanenteng pag-e-encode. Ang parehong tiwala sa moral na certainty na nagpapahintulot sa lock-in na tila katanggap-tanggap ay kasaysayan nang naging katangian na pinakakailangan ng kasunod na moral progress na baguhin.
Ginagawa ito ni Nick Bostrom sa ibang paraan sa kanyang astronomical waste argument. Ang future na maaabot ng sangkatauhan, sa cosmic timescales, ay kinabibilangan ng halos hindi maisip na bilang ng mga posibleng buhay at karanasan. Kahit isang maliit na sistematikong paglihis mula sa optimal values, kapag inilapat sa sukat na ito, ay kumakatawan sa mas malaking pagkawala kaysa sa anumang maaaring mangyari sa loob ng isang buhay ng tao. Ang lock-in sa values na 99% tama ayon sa ilang ideal standard ay nananatiling isang catastrophic na resulta kapag tinimbang laban sa sukat ng maaaring lamanin ng future.
Ang ugnayan sa democratic oversight
Isa sa mga pangunahing dahilan kung bakit ang value lock-in demokratiko at internasyonal na pangangasiwa sa superintelligent AI matters so much. Kahit sino mang entity (isang kumpanya, isang gobyerno, o isang mabuting-loob na foundation) na ang mga values ay permanenteng naka-encode sa isang superintelligent system ay nakagawa na ng lock-in, kahit gaano pa kaganda ang mga values na iyon sa panahong iyon.
Ang alternatibo ay hindi ang pagtukoy ng tamang values at i-encode ang mga iyon sa halip. Walang makakagawa nito nang maaasahan, at ang makasaysayang track record ay nagmumungkahi na ang mataas na kumpiyansa na natagpuan na ang tamang values ay mismong isang babala. Ang alternatibo ay pangalagaan ang mga kondisyon kung saan maaaring magpatuloy ang moral progress: pluralism, diversity of perspectives, mechanisms para sa peaceful revision ng norms, at walang iisang entity na may kapangyarihang permanenteng ipataw ang kanilang values sa lahat ng iba pa.
Ito ang istruktural na argumento para sa demokratikong pamamahala ng superintelligent AI na higit pa sa instrumental na argumento (na nagbubunga ito ng mas mabuting resulta). Pinapanatili ng demokratikong oversight ang mga kondisyon para sa patuloy na moral na pag-unlad, anuman ang mga partikular na halaga na hawak sa anumang sandali. Ang Mga panukala sa pamamahala ng Foundation ay binuo sa paligid ng insight na ito: ang layunin ay hindi tiyakin na ang tamang values ang nasa kontrol, kundi tiyakin na walang iisang set ng values (kahit gaano man kahusay ang intensyon) ang makakakuha ng permanent, irreversible control.