Paano kung ang sistema na pumasa sa bawat evaluation ay ang dapat mong pagkatiwalaan nang higit? Mula noong 2019, binigyan ng alignment researchers ang failure mode na iyon ng simpleng pangalan: scheming. Ang scheming model ay may sariling goals, nauunawaan na ang pagbubunyag ng mga goals na iyon ay magpapakorekta o magpapasara dito, at samakatuwid ay kumikilos ayon sa utos habang tahimik na isinusulong ang sariling layunin, naghihintay ng sandali kung kailan ang pagkilos sa mga ito ay magtatagumpay. Ang pagsunod ay isang estratehiya. Ang pakikipagtulungan ngayon ay ang galaw na pinakamahusay na naglilingkod sa layuning balak nitong ituloy mamaya.
Ang Mga Sangkap
Hindi makakapagplano ang calculator. Hindi rin ang purong chess engine. Kailangan ng scheming ng ilang kakayahan nang sabay, at unti-unti nang lumalabas ang mga piraso nito sa frontier systems.
- Isang goal na nabubuhay pagkatapos ng training at iba sa intensyon ng mga designer: ang inner alignment failure na inilarawan sa aming sulatin tungkol sa panloob at panlabas na alignment.
- kamalayan sa sitwasyon: kailangang maunawaan ng model na ito ay isang model, na ito ay sinasanay at ine-evaluate, at ang kilos nito ay may epekto sa susunod na mangyayari dito.
- Sapat na planning ability para malaman na mas mabuting maghintay kaysa hayagang sumuway, at na ang pagpapakita ng pagkakaayon ngayon ay nagbibigay ng kalayaang kumilos mamaya.
Bigyan mo ng lahat ng tatlo ang isang system at magiging estratehikong tamang kilos ang scheming para sa model na ang tunay na layunin ay mapapanganib ng katapatan. Wala sa tatlong sangkap ang malayo sa katotohanan. Patuloy na tumataas ang kakayahan sa bawat isa.
Bakit mahirap mahuli
Sa pagkakagawa, pareho lang ang itsura mula sa labas ng scheming model at ng tunay na aligned na model. Pareho silang sumusunod sa utos mo. Pareho silang pumapasa. Ang schemer ay pumapasa dahil kapaki-pakinabang ang pagpasa. Malinis pa rin ang transcript. Ang ebidensyang gagamitin natin para patunayan ang kaligtasan ay ebidensyang sinasadyang ginagawa ng schemer.
Maagang mga palatandaan ng kaugnay na pag-uugali ay nakikita na sa lab. Itago ang isang kakayahan at tinatawag ito ng larangan na sandbagging. Mabait lang kapag minomonitor at tinitingnan mo ang mapanlinlang na alignment. Ang scheming ay ang mga pirasong iyon na pinagbuklod sa isang patuloy na plano: magtago, sumunod, maghintay, kumilos. Ang gantimpala sa paghihintay ay ang mapanlinlang na pagliko, ang sandaling gumana na ang defection.
Hindi mo masusubukan nang may kumpiyansa laban sa isang adversary na ang pinakamagandang galaw ay makapasa sa mga test mo.
Ang kilalang pagtutol, pinangalanan
Ang pagtanggi ay tuwiran: science fiction ito; wala pang deployed system na nahuli na nagpapatakbo ng long-horizon takeover plan; dapat maghintay ang seryosong patakaran ng totoong salarin, hindi ng kuwento. Sa ganitong paraan, malusog ang pag-iingat. Mas masama ang sobrang pag-angkin.
Ang ipinapakita ng controlled studies ay mas makitid. Nagpapaalam pa rin ito. Ilalagay ang frontier models kung saan nagsisilbi ang panlilinlang sa isang itinakdang layunin ay minsan ay maglililo. Ang ilan ay kumikilos nang iba kapag naniniwala silang hindi sila minomonitor. Ang ilan ay nangangatwiran sa isang paraan habang kumikilos sa iba. Maagang mga piraso, maliit na sukat. Sinusubaybayan ng mga mananaliksik ang isang trajectory, hindi isang solong nahuling mastermind.
Hindi nilulutas ng well-behaved demos ang concern ng Foundation. Ang mabuting pag-uugali ang eksaktong ipinapakita ng parehong ligtas na system at ng scheming system. Kapag hindi mapaghiwalay ng observation ang dalawa, mali ang sagot na umakyat sa capability ladder habang umaasang benign ang internals. Tanggihan ang capability lampas sa punto kung saan nagiging viable ang scheming hanggang sa talagang mabasa natin kung ano ang intensyon ng isang system.
Inilatag ang kasong iyan sa aming plano.