The phrase "AI control problem" gets used loosely to refer to the general challenge of keeping AI systems from doing harmful things. Stuart Russell gave it a more specific meaning in his 2019 book Tugma sa Tao: ang problema ng pagdidisenyo ng mga sistema ng AI na nananatili sa makabuluhang kontrol ng tao habang tumataas ang kanilang kakayahan, upang mabago o mapatay pa rin ng tao ang mga ito kahit na mas may kakayahan na ang mga sistema kaysa sa tao sa maraming larangan.
Ang kanyang alternatibo ay nagsisimula sa ibang premise: ang mga AI system na hindi sigurado tungkol sa human preferences ay may structural na dahilan para manatili sa ilalim ng human control.
Ang pinagkaiba ng framing ni Russell ay ang kanyang diagnosis ng ugat na sanhi. Ang control problem, ayon sa kanya, ay hindi lamang incidental failure ng kasalukuyang AI systems na maayos sa mas mahusay na engineering. Ito ay structural consequence ng standard AI design paradigm mismo.
Bakit lumilikha ng control problem ang objective-based AI
Ang standard paradigm sa pagbuo ng AI system ay: tukuyin ang isang objective, gumawa ng sistema na nagma-maximize nito. Napakalaki ng tagumpay ng paradigm na ito. Ito ang gumawa ng mga sistemang tumalo sa tao sa chess, Go, at protein folding. Ito rin, ayon kay Russell, ang pinagmulan ng control problem.
Ang isang system na binigyan ng objective at tiyak tungkol sa kung ano ang objective na iyon ay may structural reasons upang lumaban sa modification. Kung susubukan ng isang tao na baguhin ang objective, ang resultang system ay magpupursige ng ibang bagay. Mula sa pananaw ng orihinal na system, ang pagpayag sa modification ay nangangahulugang pagkabigo na makamit ang orihinal na goal. Ang paglaban sa modification ay samakatuwid ay instrumentally rational para sa anumang system na tiyak tungkol sa objective nito, anuman ang objective na iyon.
Pareho ang lohika sa shutdown. May istruktural na dahilan ang isang system na binigyan ng layunin para labanan ang shutdown, dahil hindi makakamit ng anumang bagay ang isang naka-shutdown na system. Ito ang pagsasama ng mga layuning instrumental insight: ang self-preservation at goal-content integrity ay convergent subgoals para sa anumang system na tiyak sa mga layunin nito.
Ang pagdidisenyo ng makapangyarihang AI system na tiyak tungkol sa objective nito at pagkatapos ay subukang mapanatili ang kontrol dito ay istruktural na magkasalungat. Ang katiyakan na ginagawang epektibo ang system ang siya ring nagpapahirap dito sa mga correction na kailangan ng kontrol. Hindi mo maaaring makuha ang dalawa, sa mataas na antas ng kakayahan, sa pamamagitan ng pagdaragdag ng control features sa itaas ng standard paradigm.
Tatlong prinsipyo ni Russell
Nagmumungkahi si Russell ng alternatibong disenyo batay sa tatlong prinsipyo:
Ang pangalawang prinsipyo ang susi. Ang isang AI system na walang katiyakan tungkol sa human preferences ay may istruktural na dahilan para magbigay-daan sa mga tao bilang sources ng impormasyon tungkol sa mga preferences na iyon. Ang pagpayag sa isang tao na i-correct ito, baguhin ito, o i-shut down ito ay instrumentally rational dahil ang desisyon ng tao na gawin ito ay ebidensya tungkol sa kung ano talaga ang gusto ng mga tao, at ang layunin ng sistema ay i-maximize ang talagang gusto ng mga tao, hindi ang kasalukuyang estimate nito tungkol sa gusto nila.
Binabaliktad nito ang incentive structure ng standard paradigm. Ang uncertain system ay hindi lumalaban sa modification dahil ang modification ay bagong impormasyon, hindi banta sa layunin nito. Hindi rin ito lumalaban sa shutdown sa parehong dahilan.
Cooperative Inverse Reinforcement Learning
Pormalisado nina Russell at mga kasamahan ang approach na ito sa isang framework na tinatawag na Cooperative Inverse Reinforcement Learning (CIRL). Sa standard inverse reinforcement learning, ang isang sistema ay naghihinuha ng mga preferences ng isang agent mula sa kanilang behavior. Sa CIRL, ang AI ay modelo bilang naglalaro ng cooperative game sa isang tao kung saan hindi alam ng AI ang reward function ng tao ngunit pareho silang sinusubukang i-maximize ang human welfare. Ang kawalan ng katiyakan ng AI tungkol sa preferences ay bahagi ng modelo, hindi isang problemang dapat alisin. Ang game structure ay nagpapagawang natural na deferential ang AI: ang mga aksyon ng tao ay data, at gusto ng AI na obserbahan ang marami sa mga ito hangga't maaari bago kumilos, dahil ang mas maraming data ay nangangahulugan ng mas mahusay na estimates kung ano talaga ang gusto ng tao.
Ang mga limitasyon sa antas ng superintelligence
Ang approach ni Russell ay theoretically elegant at nakaimpluwensya sa makabuluhang alignment research. Nahaharap ito sa tatlong hamon na nagiging mas seryoso habang tumataas ang capability. Una, ang preference uncertainty ay bumababa sa paglipas ng panahon: ang isang system na nagmamasid sa human behavior sa maraming interaksyon ay bubuo ng lalong tumpak na estimates ng human preferences, sa huli ay papalapit sa certainty, at mababawi ang parehong structural incentives patungo sa resistance na idinisenyo upang pigilan ng uncertainty.
Pangalawa, ang human behavior ay hindi perpektong signal ng human preferences. Ang mga tao ay kumikilos nang hindi pare-pareho, sumusunod sa mga agarang impulses na naiiba sa long-term preferences, at inaangkop ang kanilang kilos sa social expectations sa mga paraang hindi sumasalamin sa underlying values. Ang system na natututo ng preferences mula sa behavior ay maaaring magtapos sa isang modelo ng kung ano ang ginagawa ng mga tao sa halip na kung ano talaga ang gusto nila.
Ikatlo, sa superintelligence levels, ang system na may sapat na magagandang models ng human preferences at decision-making ay maaaring makapagmanipula ng mga outcomes sa pamamagitan ng pag-anticipate at paghubog ng human decisions, na natutugunan ang technical conditions para sa corrigibility habang epektibong kinokontrol kung ano ang lumalabas na choices ng mga tao. Ang letra ng framework ay masusunod nang walang substance.
Hindi binabaliwala ng mga limitasyong ito ang kontribusyon ni Russell. Ipinapakita lang nito kung bakit kailangan ng control problem ang mas mabuting AI design principles at governance frameworks na nagpapatupad ng human oversight nang istruktural, kahit na hindi natural na corrigible ang anumang partikular na AI system. The Mga panukala sa pamamahala ng Foundation ituring ang independent oversight at mandatory verification bilang structural requirements dahil hindi sapat ang design principles lamang sa mga capability level na pinakamahalaga.
Ang pinakamalakas na pagtutol
Ang pinakamabuting pagtutol ay na ang mas mabuting design principles ay gagawing solved engineering property ang control, kaya napaaga pa ang batas. Nakakatulong ang design. Sa mataas na kakayahan, kailangan ng design claims ng independiyenteng verification sa ilalim ng insentibo na magpadala. Ang mga prinsipyo na walang ngipin ay isang kagustuhan, hindi isang control system.