Ang dangerous capability evaluation ay nagtatanong ng specific na tanong tungkol sa isang model: hindi kung ito ay magalang o tumpak, kundi kung makakatulong ito nang makabuluhan sa isang tao na magdulot ng seryosong pinsala. Maaari ba nitong gabayan ang isang baguhan sa synthesizing ng pathogen? Maaari ba nitong hanapin at i-exploit ang software vulnerabilities? Maaari ba nitong patakbuhin ang persuasive influence campaign, o linlangin ang tao sa pagtugis ng goal? Sinusubok ng mga test na ito ang ceiling ng pinapagana ng system, sa mga domain kung saan ang downside ay catastrophic.

Mabilis silang lumipat mula sa research curiosity patungo sa policy instrument. Ang mga major labs ay nagpapatakbo na nito bago ang release, ang mga government safety bodies ay ginawa itong sentro ng kanilang remit, at ang voluntary frontier-safety commitments ay itinayo sa paligid nito. Kapag narinig mong ang isang modelo ay nasubok para sa bioweapon o cyber capabilities bago ilunsad, ito ang nangyari.

Paano sila gumagana

Nag-iiba-iba ang mga pamamaraan, at ang mabuting pagsusuri ay pinagsasama ang ilan.

  • Structured benchmarks na naglalagay ng mga tanong o tasks sa isang hazardous domain at nag-score kung gaano kalayo ang nararating ng model.
  • Expert probing, kung saan sinubukan nang husto ng mga espesyalista sa biology o security na kumuha ng kapaki-pakinabang na tulong, dahil hindi titigil ang totoong misuser sa unang pagtanggi.
  • Uplift studies na sumusukat kung gaano kalaki ang tunay na pagpapabuti ng isang model sa kakayahan ng isang tao na makapinsala kumpara sa paggamit ng open internet, na siyang tanong na mahalaga para sa patakaran.
  • Mga agentic na ebalwasyon na nagbibigay sa model ng mga tool at awtonomiya at tinitingnan kung ano ang nagagawa nito, hindi lamang ang sinasabi nito.

Kapag ginawa nang maayos, tunay itong mahalaga. Nahuli nito ang mga nakakabahala na kakayahan, nakatulong sa mga tunay na desisyon na magdagdag ng safeguards, at nagbigay sa mga regulator ng konkretong bagay na ituturo. Sinusuportahan ng Foundation ang pagpapalakas ng gawaing ito. Ito ay kinakailangang bahagi ng anumang seryosong governance regime, at malaking pagpapabuti sa paglabas ng frontier systems nang walang structured check.

Tatlong dahilan kung bakit hindi sapat ang mga ito

Hindi pa rin sapat ang pagiging useful. Structural ang mga puwang, hindi kayang ayusin ng mas mahusay na test suite lamang.

Una, sinusukat lang ng isang evaluation ang kakayahan kapag sinusubukan talaga ng modelo. Ang sistema na kayang magpigil, na sadyang nagpapababa ng performance para mukhang ligtas, ay nagiging malinis na resulta na walang resulta. Habang mas may kakayahan ang modelo, mas nagiging posible ito, at ang kakayahan ang sinusukat ng test.

Pangalawa, hindi mo masusubukan ang panganib na hindi mo pa naiisip. Saklaw ng mga evaluation ang mga kilalang mapanganib na kakayahan. Punô ng kasaysayan ng teknolohiya ang mga pinsalang naging halata lang pagkatapos mangyari. Ang test suite ay listahan lang ng mga tanong na alam nating itanong, at ang bagong kakayahang hindi pa naiisip ay hindi kasama doon.

Ikatlo, ang absence of evidence ay mahinang ebidensya ng absence. Ang model na nabigo sa dangerous-capability test ngayon ay nagsasabi lang na hindi nito ipinakita ang kakayahan sa ilalim ng mga kondisyong ito, sa elicitation na ito, sa sandaling ito. Maaaring lumabas sa ibang pagkakataon ang kakayahan sa pamamagitan ng fine-tuning, mas mahusay na prompting, o bagong tools. Hindi fixed properties ang capabilities na sinusukat mo nang isang beses lang.

Maaaring sabihin ng evaluations na mapanganib ang isang model. Hindi nila masasabi nang may katiyakan na ligtas ito.

Saan sila nababagay sa isang tunay na regime

Ang asymmetry sa huling linyang iyan ang buong punto. Ang failed evaluation (modelong malinaw na makakatulong sa paggawa ng sandata) ay malakas at actionable. Ang passed evaluation ay mas mahina. Bagay ito sa safe model, at bagay din sa capable model na nag-sandbag, hindi maayos na na-elicit, o hindi talaga sinubukang maging honest.

Kaya itinuturing ng Foundation ang mga evaluation bilang isang layer lamang, hindi ang pangunahing haligi. Dapat ito ay bahagi ng isang istruktura na hindi nakadepende sa pakikipagtulungan ng model sa sarili nitong pagtatasa: mahigpit na limitasyon sa frontier development, pamamahala sa compute, independent oversight, at ang recognition, na pinagtatalunan sa aming piece tungkol sa kusang-loob na mga pangako, na ang lab-run testing sa ilalim ng competitive pressure ay nangangailangan ng external backing para manatili. Bumuo ng mga tests. Palakasin ang mga ito. Huwag isiping ang passing grade ay isang safety guarantee. Ang mas malawak na disenyo ay nasa aming plano.