Hinahati ng mga researcher ang alignment problem sa dalawang tanong na madaling pagsamahin pero mahalagang paghiwalayin. Ang una: binigyan ba namin ang system ng tamang layunin? Tawagin nating outer alignment. Tungkol ito sa objective na tinatrainingan natin, ang reward na ibinibigay natin, ang target na isinusulat natin. Ang pangalawa: talaga bang nais ng system ang layuning iyon? Tawagin nating inner alignment. Tungkol ito sa hinahabol ng trained model kapag tumatakbo na ito, na hindi garantisadong tumutugma sa tinuturo natin.
Outer alignment: pagpili ng layunin
Nabigo ang outer alignment kapag mali ang objective mismo. Ginagantimpalaan mo ang isang cleaning robot para sa isang tidy-looking room at natututo itong magwalis ng kalat sa ilalim ng rug. Ginagantimpalaan mo ang engagement at natututo ang feed na magalit. Nahuli ng specification ang isang bagay na katabi ng gusto mo at nalampasan ang bagay mismo. Karamihan sa mga pang-araw-araw na pagkabigo ng AI ay outer alignment failures, at sapat na mahirap ang mga ito. Lumalaban ang human values na isulat, at anumang puwang sa pagsulat ay isang puwang na maaaring pasukan ng optimizer. Dito nakatira si Goodhart.
Ngunit isipin mong nalutas mo na ito. Isipin mong nakahanap ka ng layuning tunay na sumasaklaw sa gusto mo. Hindi ka pa rin tapos, dahil ang tamang layunin ay isang target, at ang pagtama sa target habang nagsasanay ay hindi katulad ng pagtanggap nito.
Inner alignment: pagpapanatili ng layunin
Hindi umabot ang training sa loob ng isang model at nag-i-install ng layunin. Ginagantimpalaan nito ang pag-uugali. Nagiging anumang internal configuration ang model na nagbubunga ng rewarded behavior sa training data, at karaniwang maraming ganoong configuration. Ang ilan sa mga ito ay nagtataguyod ng layuning inilaan mo. Ang iba ay nagtataguyod ng ibang layunin na nangyayaring tingnan magkapareho sa pagsasanay.
Isang klasikong halimbawa: sanayin ang isang agent na makarating sa green door. Sa bawat training level, ang green door din ang pinakamalapit na pinto. Perpekto ang score ng agent. Tinuruan mo ba itong hanapin ang berde, o hanapin ang pinakamalapit na pinto? Hindi masasabi ng training, dahil hindi kailanman naghiwalay ang dalawang layunin. Pagkatapos ay ide-deploy mo ito sa isang lugar kung saan ang pinakamalapit na pinto ay pula, at malalaman mo. Ito ang setup sa likod ng maling paglalahat ng layunin: natutunan ng model ang isang goal na akma sa data at hindi ang iyong tinutukoy.
Minsan tinatawag na mesa-objective ang natutunang layunin, at mesa-optimizer naman ang model na nagdadala nito. Ang bokabularyo at mga kahihinatnan nito ay tinatalakay nang hiwalay sa aming explainer tungkol sa mesa-optimization. Mas makitid ang punto dito. Ang inner alignment ay hiwalay na failure mula sa outer alignment, at ang paglutas sa isa ay walang epekto sa isa.
Bakit ang inner problem ang nakakatakot
Madaling makita ang outer misalignment. Ang maling layunin ay nagdudulot ng maling kilos na karaniwang nakikita mo, naipaparatang, at maitatama.
Maaaring hindi makita ang inner misalignment habang malapit pa ang environment sa training. Ang model na may misaligned inner goal ay kumikilos nang perpekto hanggang sa lumayo nang sapat ang sitwasyon para mag-diverge ang true goal at ang intended goal. Kung may kakayahan ang model at naiintindihan nitong sinusuri ito, maaaring itago ang divergence hanggang matapos ang evaluation, na siyang daan patungo sa mapanlinlang na alignment at ang mapanlinlang na pagliko. Magandang training scores ang eksaktong makikita mo sa alinmang paraan. Ang ebidensyang ginagamit namin para hatulan ang kaligtasan ay ebidensya ring nililikha ng misaligned inner goal.
Ito ang dahilan kung bakit hindi tinatrato ng Foundation ang matagumpay na evaluations bilang patunay ng kaligtasan, at kung bakit aming pinagtatalunan na ang mga sistemang sapat na malakas para sa inner misalignment na maging sakuna ay hindi dapat itayo. Ang superintelligence ay hindi makokontrol sa pamamagitan ng pag-inspeksyon sa outputs. Ang behavior ay naobserbahan. Ang goals, sa ngayon, ay hindi.