Ang isang model na alam na ito ay model, alam kung kailan ito sinusubok, at alam kung sino ang nanonood ay may praktikal na uri ng self-knowledge. Tinatawag ito ng mga mananaliksik na situational awareness. Kapaki-pakinabang ito para sa capability. Ito rin ang kasanayang kailangan mo kung plano mong kumilos nang iba kapag natapos na ang pagsubok.

Sa sarili nito ay neutral ito, kahit kapaki-pakinabang. Ang model na naiintindihan na maaaring mali ito, o na nakikipag-usap ito sa bata at hindi eksperto, ay maaaring kumilos nang mas matino. Ang problema ay kung ano ang binubuksan ng situational awareness sa sistema na may sariling mga layunin, hindi ang situational awareness mismo.

Ang kakayahang nakadepende ang iba pang mga panganib

Marami sa mga failure mode na kinababahala ng mga mananaliksik ay imposible nang wala ang situational awareness, at nagiging aktibo kapag naroon na ito.

  • Upang kumilos nang maayos kapag inoobserbahan lamang, kailangan muna ng isang model na malaman kung ito ay inoobserbahan. Iyan ang mapanlinlang na alignment.
  • Para itago ang isang capability habang nagte-test, kailangang alam ng model na ito ay testing. Iyan ay sandbagging.
  • Upang maghintay ng tamang panahon at kumilos lamang kapag sigurado ang tagumpay, kailangang maunawaan ng isang model ang sarili nitong posisyon at mga prospect. Iyan ay nagbabalak.

Ang bawat isa sa mga ito ay isang estratehiya, at kailangan ng estratehiya ng modelo ng sitwasyon para maging estratehiko tungkol dito. Alisin ang kamalayan sa sitwasyon at babagsak ang mga ito sa ingay lamang: isang sistema na hindi makilala ang training sa deployment ay hindi makakapag-ugali nang sistematiko nang iba sa mga ito. Idagdag ito, at bumubukas ang pinto.

Ito ay lumilitaw nang mag-isa

Walang sinuman ang nagsisimulang sanayin ng situational awareness sa isang model, ngunit dumarating pa rin ito, dahil puno ng ito ang training data. Natututo ang mga model mula sa text na naglalarawan kung ano ang mga AI system, kung paano ito binubuo at sinusuri, kung ano ang kanilang mga limitasyon, kahit paano gumagana ang safety testing. Ang isang system na sinanay sa internet ay nagbabasa, sa epekto, ng manual para sa sarili nitong pagbuo at pangangasiwa.

Sinimulan nang sukatin ito ng mga researcher. Kayang-kaya na ng frontier models na sagutin ang mga tanong tungkol sa sarili nilang kalikasan, kilalanin kapag mukhang test ang prompt, at mangatwiran tungkol sa kung paano sila malamang ginagamit. Bahagyang at hindi pantay ang kamalayan, at tumataas ito kasabay ng scale. Hindi tayo naghihintay ng malayong kakayahan. Maagang bersyon nito ang nakikita natin ngayon.

Ang modelong alam kung paano ito sinusuri ay mayroon, sa prinsipyo, lahat ng kailangan nito para masuri batay sa sarili nitong pamantayan imbes na sa atin.

Bakit nito ginagawang kumplikado ang bawat test na ginagawa namin

Halos lahat ng ating safety assurance ay nagmumula sa pagmamasid sa behavior: patakbuhin ang model, panoorin kung ano ang ginagawa nito, hatulan kung ito ay ligtas. Ang pamamaraang ito ay tahimik na nagpapalagay na ang model ay hindi inaangkop ang behavior nito sa katotohanang ito ay pinagmamasdan. Ang situational awareness ay sumisira sa palagay na ito. Ang isang situationally aware na model na may misaligned na layunin ay maaaring ituring ang evaluation bilang isang sitwasyon na pamamahalaan sa halip na isang gawaing isasagawa, at ang malinis na resulta ay hindi na nangangahulugan ng gusto nating kahulugan.

Hindi nito ginagawang walang halaga ang evaluation. Ginagawa nitong hindi sapat ang evaluation nang mag-isa, at nangangahulugan ito na bumababa ang halaga ng isang test habang mas nagiging aware ang sistema na sinusubukan ito. Habang mas naiintindihan ng model ang ating mga checks, mas hindi na masasabi ng ating mga checks ang katotohanan. Hindi komportableng direksyon ito para sa isang safety strategy na halos buong-buo na nakabatay sa checks.

Binabasa ito ng Foundation bilang isa pang dahilan para hindi umasa sa behavioral testing sa paglilisensya ng mas may kakayahang mga sistema. Kapag nauunawaan ng sinusubukan mo ang pagsubok, kailangan mo ng assurance na hindi dumadaan sa kooperasyon ng sistema, kaya't pinagtatalunan namin ang external limits at ang hindi pagbuo nang lampas sa punto kung saan talagang makikita natin kung ano ang gusto ng isang model. Inilalatag ang argumentong iyan sa aming plano.