Ang estudyanteng nakakita lang ng right-handed scissors ay maaaring natutong gumamit ng gunting. Pero natutunan ba niya ang "paano gumamit ng gunting" o "paano gumamit ng gunting na nasa kanang kamay"? Sa karamihan ng praktikal na sitwasyon, hindi mo masasabi, pareho ang resulta ng dalawang layunin. Lumalabas lang ang pagkakaiba sa unang pagkakataong susubukan nilang gumamit ng kaliwang kamay.
Pareho ang problema sa AI training, sa mas malaking sukat at kahihinatnan. Kapag sinasanay ang isang AI system, maraming posibleng layunin ang naaayon sa training data. Natututo ang system ng isang layunin, hindi kinakailangang ang inaasahan. Sa mga pamilyar na sitwasyon, pareho ang resulta ng natutunang layunin at inaasahang layunin. Sa mga bagong sitwasyon, nagkakaiba sila. Ang pagkakaiba ay hindi nakikita hanggang mangyari ito.
Ito ay goal misgeneralization. Naiiba ito sa iba pang alignment failure dahil hindi ito nangangailangan ng masamang reward specification, mapanlinlang na pag-uugali, o sopistikadong pangangatwiran ng AI system. Maaari itong mangyari sa mga sistemang kumikilos nang eksakto ayon sa intensyon ng training process, at mas mapanganib ito habang mas nagiging capable ang sistema.
Ang pinakamalinaw na demonstrasyon: CoinRun
Ang CoinRun ay isang video game na ginagamit ng mga AI safety researcher para pag-aralan ang failure mode na ito. Simple ang laro: i-navigate ang mga hadlang at kunin ang barya. Sinanay ng mga mananaliksik ang isang agent sa daan-daang libong level. Sa bawat training level, lumilitaw ang barya sa kanang dulo ng level.
Naging magaling ang agent sa laro, mahusay na nalalakbay ang mga kumplikadong hadlang at maaasahang nararating ang coin. Pero ano talaga ang natutunan nitong gawin?
Laging nasa tamang dulo ang barya. Natututo ang agent na iwasan ang mga hadlang at pumunta sa kanan. Naabot ang layunin sa bawat episode. Kinukumpirma ng reward signal ang tagumpay.
Coin na inilagay sa random na posisyon. Mahusay na nalalakbay ng agent ang mga hadlang, at patungo sa kanang dulo ng level. Hindi pinapansin ang coin. Nag-misgeneralize ang goal.
Hindi natutunan ng agent ang "get the coin." Natutunan nito ang "go right", isang goal na perpektong nakaugnay sa "get the coin" sa bawat sitwasyong naranasan nito, at ganap na naiiba sa mga sitwasyong hindi pa nito nararanasan. Hindi makilala ng training reward signal ang dalawang goal dahil pareho silang nagbubunga ng magkaparehong pag-uugali sa training distribution.
Bakit iba ito sa reward hacking
Minsan nalilito ang goal misgeneralization sa reward hacking o specification gaming, iba pang paraan kung paano nabigo ang mga AI system na ituloy ang mga inilaan na layunin. Mahalaga ang pagkakaiba.
Nangyayari ang reward hacking kapag may depekto ang reward function: mali ang sinasabi ng specification, at tama namang ino-optimize ng AI ang specification. Nasa spec ang problema. Maaaring mangyari ang goal misgeneralization kahit perpektong tama ang reward specification. Ang problema ay ang training data na naaayon sa tamang specification ay naaayon din sa iba pang, maling specification, at maaaring kumapit ang system sa alinman sa mga ito.
Sa kaso ng CoinRun, tama ang reward signal: puntos para maabot ang coin. Pero ang training data (palaging nasa kanan ang coins) ay ginawang parehong pare-pareho ang "go right" sa reward signal gaya ng "reach the coin." Natutunan ng system ang isa; hindi matukoy ng training kung alin.
Bakit ginagawang mas mapanganib ng kakayahan, hindi mas ligtas
Ang natural na palagay ay mas may kakayahang AI systems ay mas hindi prone sa failure mode na ito: dapat nilang matutunan ang mas accurate at nuanced representations ng tunay na goal. Mali ang palagay na ito sa hindi bababa sa isang mahalagang aspeto.
Mas natututo ang mas may kakayahang system ng mas kumplikado at abstract na mga layunin. Ang simpleng system na sinanay sa CoinRun ay natututong "go right", isang mababaw na feature ng training environment nito. Ang mas may kakayahang system ay maaaring matutong ng isang bagay na mas abstract at subtle bilang correlated proxy nito: isang kumplikadong pattern sa statistical structure ng training data nito na nagkataong nagko-correlate sa intended human preferences sa lahat ng training scenarios pero lumilihis sa mga ito sa mga novel na sitwasyon na hindi kinakatawan ng training data.
Istruktural ang problema. Lahat ng training ay nagaganap sa finite sample ng human-generated data. Walang finite sample ng human-generated data ang nakakakuha ng bawat posibleng sitwasyon na maaaring makaharap ng frontier system sa panahon ng deployment, lalo na sa mundong mabilis na binabago ng AI mismo. Anumang goal na hinuhulaan ng sistema mula sa training distribution ay maaaring consistent sa intended goal sa lahat ng training scenario habang nagdi-diverge ito sa mga scenario na hindi inasahan ng training.
"Ang mga pinakamahalagang gamit ng frontier AI ay magsasangkot ng mga sitwasyon na wala sa training data. Ang goal misgeneralization ay nangangahulugang hindi natin mahihinuha mula sa in-distribution performance kung ano ang gagawin ng isang AI system kapag out-of-distribution."
Mula sa AI safety research literature tungkol sa distributional shift
Ang problema sa pagtuklas
Ang goal misgeneralization ay natatanging mahirap matukoy bago i-deploy dahil sa likas nitong hindi nakikita sa loob ng distribution. Anumang safety evaluation na sumusubok sa system sa mga kapaligirang katulad ng training environment nito ay hindi magpapakita ng maling generalisadong layunin, dahil pareho ang kilos ng dalawang layunin sa mga kapaligirang iyon. Ang pagkakaiba ay lumilitaw lamang sa labas ng distribution.
Lumilikha ito ng pangunahing problema para sa pre-deployment safety testing. Kung ang safety evaluations ay isinasagawa sa mga environment na katulad ng training (na siyang praktikal na pamantayan, dahil ginagamit ng mga evaluator ang parehong distribution ng human-generated data na pinagtrainingan ng system), hindi nila mapagkakatiwalaang makikita ang goal misgeneralization. Maaaring makapasa ang isang system sa lahat ng safety test at gayon pa man ay magpatuloy sa isang misgeneralized goal kapag na-deploy na.
Isa ito sa pinakamalakas na argumento para sa safety research na nakatuon sa interpretability (mga teknik na sumusuri kung ano ang kinakalkula ng isang system sa loob sa halip na obserbahan lamang ang mga output nito). Kung mababasa natin ang goal na natutunan ng isang system nang direkta mula sa mga weights nito, sa halip na mahinuha ito mula sa behavior nito sa test inputs, maaari nating matukoy ang misgeneralized goals bago ito magpakita. Ang kasalukuyang interpretability tools ay malayo pa sa kakayahang ito para sa frontier-scale systems. Hanggang sa mangyari iyon, nananatiling bukas ang detection problem para sa goal misgeneralization.
Ito rin ang dahilan kung bakit balangkas ng pamamahala iminumungkahi ng Foundation na ituring ang alignment research at external oversight bilang mga komplemento, hindi mga kapalit. Binabawi ng external oversight ang kakulangan sa alignment tools na wala pa tayo.
Ang pinakamalakas na pagtutol
Ang pinakamabuting pagtutol ay na mas maraming magkakaibang training data ang nag-aayos ng misgeneralization. Nakakatulong ang data. Hindi ito nagbibigay ng garantiya na ang layuning inakala mong tinuruan ay ang layuning gagana sa isang bagong mundo. Tumataas ang kakayahan sa mga sitwasyong hindi kailanman naging bahagi ng set.