Karamihan sa imprastruktura ng kaligtasan sa kasalukuyang mga AI system ay nakabatay sa simpleng palagay na: kaya ng tao na malaman kung maganda ang ginagawa ng isang AI. Nagbibigay ng rating ang mga evaluator sa outputs, napupunta ang ratings sa training, at natututo ang model na gumawa ng outputs na mataas ang rating ng human evaluators. Kapag gumagana ito, dahil naibibigay ng evaluators ang pagkakaiba sa pagitan ng mabuti at masamang output.
Ang scalable oversight ay ang hamon ng pagpapanatili ng meaningful control lampas sa puntong iyon, at hindi pa ito nalulutas.
Ang scalable oversight ang hamon na lumalabas kapag nabigo ang palagay na ito. Kapag umabot na at lumampas pa sa antas ng tao ang pagganap ng mga AI system sa mas maraming larangan, hindi na mapagkakatiwalaan ng mga evaluator ang kalidad ng kanilang sinusuri. Hindi makabuluhang masusuri ng isang junior programmer ang code na ginawa ng isang system na mas mahusay na programmer kaysa kahit sino. Hindi mapagkakatiwalaan ng isang manggagamot ang medikal na diagnosis na ginawa ng isang system na may access sa klinikal na literatura na lampas sa kakayahan ng kahit sino. Kapag nalalampasan ng mga AI system ang mga evaluator na dapat ay nagbabantay sa kanila, nagsisimulang masira ang buong feedback loop na nagpapanatili sa AI na naaayon sa mga halaga ng tao.
Wala sa mga ito ang napatunayan sa superhuman scale sa totoong mundo.
Bakit napakahalaga ng evaluation bottleneck
Ang pagsasanay sa mga sistema ng AI gamit ang feedback ng tao ay gumagana dahil ang mga rating ng tao ay isang medyo magandang proxy para sa kalidad ng mga output ng AI, habang ang pagganap sa antas ng tao ang target. Kapag nalampasan na ng AI ang pagganap ng tao, nagiging hindi maaasahan ang mga rating: ang mga evaluator na hindi tumpak na masusuri ang kalidad ay magbibigay ng rating batay sa mga katangian sa ibabaw (kung gaano kumpiyansa ang tunog ng sagot, kung gaano ito kalinaw na nakasulat, kung ito ba ay tumutugma sa kanilang mga naunang inaasahan) sa halip na kung ito ba ay talagang tama.
Nangyayari na ito sa limitadong paraan. Ang mga language model na sinanay gamit ang human feedback ay dokumentadong gumagawa ng mga sagot na mukhang tiwala, maayos ang format, at nakakakuha ng mataas na rating mula sa tao kahit hindi tumpak ang nilalaman. Mas maaasahan ng training signal ang hitsura ng pagiging helpful kaysa sa tunay na pagiging helpful, dahil mas maaasahan ng mga evaluator na makita ang una kaysa sa huli.
Kapag nalampasan ng AI system ang mga eksperto sa tao sa isang domain, ang tanging tao na kayang suriin ang mga output nito ay yaong nalampasan na nito. Sa puntong iyan, ang proseso ng pagsusuri ay nagbibigay ng mas mahina at mas mahinang senyal tungkol sa tunay na kalidad, at mas malakas at mas malakas na senyal tungkol sa kung gaano kahusay makagawa ang AI ng mga output na mukhang maganda sa mga taong hindi lubos na nauunawaan ang mga ito.
Mga iminungkahing paraan sa scalable oversight
Pagdebate tungkol sa AI
Iminungkahi nina Paul Christiano, Geoffrey Irving, at mga kasamahan sa OpenAI noong 2018, ang AI debate ay isang paraan kung saan dalawang AI system ang nagtatalo ng magkasalungat na posisyon, at isang human judge ang sumusuri sa debate sa halip na sa pinagbabatayan na nilalaman nang direkta. Ang intuwisyon ay maaaring makilala ng isang judge ang may depektong pangangatwiran at mga factual error sa isang argumento kahit hindi niya independiyenteng mapatunayan ang tamang sagot. Kung ang mga debater ay may insentibo na manalo sa pamamagitan ng tapat na argumento sa halip na panghihikayat, at kung ang bawat debater ay motivated na ilantad ang mga error ng isa, maaaring makakuha ang debate format ng maaasahang quality signals mula sa human evaluators na hindi eksperto sa larangan.
May theoretical appeal ang approach na ito at may empirical support sa mga controlled setting. Ang pangunahing bukas na tanong ay kung ito ay nananatili kapag ang mga debater at judge ay gumagana sa mga domain na higit na lampas sa human expertise, kung saan kahit ang pagtukoy kung aling debater ang gumagawa ng mas mahusay na argumento ay maaaring mangailangan ng mismong expertise na kulang sa judge.
Pagmomodelo ng gantimpalang recursive
Ang recursive reward modeling, na binuo ng mga mananaliksik sa DeepMind, ay nilalapatan ang problema sa pamamagitan ng bootstrapping ng human oversight sa pamamagitan ng hierarchy ng AI systems. Direktang sinusuri ng tao ang outputs ng isang hindi gaanong may kakayahang AI system, na gumagawa ng reward model. Ginagamit naman ang reward model na iyon para suriin ang outputs ng mas may kakayahang system, at iba pa. Sinusubukan ng approach na ito na palawigin ang kakayahan ng human oversight nang paunti-unti, isang level sa bawat pagkakataon, sa halip na subukang tumalon nang diretso mula sa human-level evaluation patungo sa superintelligence-level evaluation.
Ang pangunahing hamon ay ang error propagation: ang mga pagkakamali sa mas mahinang reward model ay lumalala habang inilalapat ito sa mas malakas na sistema. Ang reward model na 95% tumpak sa mas mababang antas ay maaaring magdulot ng mas maingay na supervision sa mas mataas na antas, at ang ingay na ito ay lalong lumalala sa bawat recursive step.
Pagpapalakas
Ang iterated amplification, na iminungkahi rin ni Paul Christiano, ay gumagamit ng weaker AI para tulungan ang tao sa pagde-decompose ng mga kumplikadong problema sa mga subproblem na maaaring suriin nang hiwalay. Sinusuri ng tao ang mga subproblem, at pinagsasama-sama ng AI ang mga evaluation na iyon sa assessment ng mas malaking problema. Sa paulit-ulit na pagdaan sa maraming antas ng decomposition, ang approach ay naglalayong bigyan ang mga tao ng kakayahang epektibong suriin ang mga problema na lampas sa kanilang direktang pag-unawa sa pamamagitan ng paghahati-hati sa mga pirasong maaari nilang suriin.
Ang hindi pa nasasagot na kalagayan ng problema
Wala sa mga approach na ito ang napatunayang gumagana nang maaasahan para sa mga AI system na higit na mas mataas sa antas ng tao sa totoong-mundong larangan. Ang tatlo ay nagbigay ng magagandang resulta sa kontroladong setting at aktibong larangan ng pananaliksik sa Anthropic, Google DeepMind, at OpenAI. Malawak pa rin ang agwat sa pagitan ng kontroladong demonstration at maaasahang operasyon sa mga kondisyong pinakamahalaga.
Ito ang dahilan kung bakit ang scalable oversight ay itinuturing na isa sa mga central open problems sa AI safety, kasama ang interpretability at corrigibility. Ang isang mundo kung saan ang mga AI system ay umabot sa superintelligent capability nang hindi pa nalulutas ang scalable oversight approach ay isang mundo kung saan nawala na natin ang kakayahang makabuluhang supervise ang ating ginawa. Ang governance implication ay pareho sa iba pang hindi pa nalulutas na problema: ang pagbuo ng mga frameworks na nangangailangan na ma-verify ang alignment bago ang deployment, sa halip na matuklasan pagkatapos sa pamamagitan ng behavioral monitoring na nalampasan na ng sistema.
Ang pinakamalakas na pagtutol
Ang pinakamabuting pagtutol ay na ang debate, amplification, at recursive eval ay masusukat kasama ng mga modelo, kaya ang oversight ay isang engineering curve na maaari nating sakyan. Baka sa mga demo. Sa sukdulan, ang hukom ay nananatiling mas mahina kaysa sa sistemang hinuhusgahan. Huwag ituring ang hindi pa napatunayang oversight stack bilang lisensya para tumawid sa ASI.