Ang sharp left turn ay hypothesized failure mode, at pinakamahusay itong ipinapahayag bilang contrast. Nag-generalize ang capabilities. Maaaring hindi ang alignment. Kapag nagiging mas capable ang system, lalo na kung tumatawid ito sa general, transferable competence, dinadala ang abilities nito sa mga bagong domains at situations. Ang concern ay ang constraints na nagpapanatili sa kanya na well-behaved, ang alignment na na-instil natin sa mas mababang level, ay hindi dinadala nang may parehong reliability. Dinadala ng system ang kapangyarihan nito sa bagong teritoryo at iniiwan ang safety sa border. Ang divergence na iyon, na dumarating nang biglaan habang nag-generalize ang capability, ay ang sharp left turn.
Bakit maaaring maghiwalay ang kakayahan at alignment
May dahilan para asahan na magkaiba ang pag-generalize ng dalawa, at hindi ito simetrikong optimismo at pesimismo. Nakatali ang kakayahan sa istruktura ng mundo. Pareho ang batas ng pisika, patakaran ng matematika, at paraan ng sanhi at epekto sa lahat ng larangan, kaya may matatag na batayan ang sistema na natutong mangatwiran nang maayos. Naglilipat ang kakayahan dahil pare-pareho ang realidad.
Ang alignment ay nakaangkla sa atin. Nakatali ito sa human values, human intentions, at sa specific training signal na ibinigay natin, na mas makitid, mas magulo, at puno ng mga gaps na tinalakay sa problema sa alignment. Ang isang sistema na nag-generalize sa bagong sitwasyon ay may matibay na batayan para palawakin ang kakayahan nito at mas mahina para palawakin ang ating mga nilalayong hadlang, dahil ang mga hadlang ay approximation lang na inangkop sa mga sitwasyong nakita na nito. Ito ang maling paglalahat ng layunin na itinaas bilang istruktural na pahayag tungkol sa sandali ng capability jump.
Pare-pareho ang mundo, kaya naglalakbay ang competence. Bahagyang lang tinukoy ang ating values, kaya maaaring hindi sapat ang leash.
Bakit ang timing ang pinakamalupit na bahagi
Pansinin kung kailan inaasahang tatama ang kabiguan. Hindi sa ligtas at maagang yugto kung saan mahina at mapapabuti pa ang sistema at mukhang humahawak ang alignment nito. Eksakto sa paglipat sa mas malaki at mas pangkalahatang kakayahan, na siya ring sandaling pinakamahirap itong itama. Nabibiyak ang alignment eksakto nang tumataas ang stakes at ang kahirapan ng interbensyon.
Ito ang dahilan kung bakit mas masahol ang sharp left turn kaysa ordinaryong misgeneralization. Hinuhulaan nito na ang katiyakan na nakukuha natin mula sa mas maliliit na sistema na maayos ang kilos ay ang pinakamaliit na transferable na ebidensya na mayroon tayo, dahil nakolekta ito sa eksaktong regime na inaasahang lalampasan ng kabiguan. Ang isang modelong ligtas at kooperatibo sa buong pag-unlad nito ay pare-pareho pa rin sa isang sharp left turn na nasa unahan pa nito. Ang magandang track record ay hindi ang kontra-ebidensya na tila nito.
Ang Implikasyon
Kung ang alignment ay hindi awtomatikong nakakaligtas sa biglaang pagtaas ng kakayahan, dalawang bagay ang sumusunod. Dapat sapat na matatag ang alignment para lumawak bago ang pagtalon, hindi na naayos pagkatapos. At ang kasaysayan ng mabuting pag-uugali ng isang sistema ay hindi sapat na lisensya para itulak ito sa susunod na antas, dahil doon inaasahang lilitaw ang pagkakaiba.
Pareho silang tumuturo sa parehong direksyon ng iba pang argumento ng Foundation. Huwag hayaang maunahan ng capability ang alignment, at huwag ituring ang malinis na record sa isang level bilang permiso para sa susunod. Ang sharp left turn ay isa sa mga mas pessimistic na ideya sa AI safety, at maaaring mali ito, at ang halaga kung tama ito ay sapat na malubha para mapabilang sa anumang tapat na pagtimbang kung bakit tayo nangangatwiran para sa restraint. Ang pagtimbang na iyon ang nagbibigay-alam sa aming plano.