Ang AI Safety Institute ay isang government body na itinatag upang suriin ang frontier AI systems para sa mga panganib sa national security at public safety, at upang mabuo ang sariling expertise ng estado sa frontier AI. Ang unang wave ay nagtipon sa paligid ng 2023 international AI summit. Nagbabahagi na ngayon ang mga institute ng methods at findings sa pamamagitan ng international network na itinulak ng Seoul at follow-on meetings.

Ilang pangunahing kapital ang mayroong institute o katumbas nito. Karamihan sa mga ito ay hindi pa rin kayang pigilan ang isang mapanganib na modelo.

Isang tala tungkol sa mga pangalan: ang dalawang founding institute ay pinalitan na ng pangalan. Ang UK body ay naging AI Security Institute noong Pebrero 2025. Ang US institute ay ngayon ang Center for AI Standards and Innovation (CAISI) sa NIST. "AI safety institute" ang nananatiling karaniwang generic term, at ginagamit ito ng gabay na ito sa kabuuan.

Sa loob ng maraming taon, ang tanging organisasyon na lubos na nakauunawa sa frontier models ay ang mga kumpanyang gumagawa nito. Ang isang institute ay pagtatangkang maglagay ng independiyenteng teknikal na kakayahan sa loob ng gobyerno, para masuri ng mga pampublikong awtoridad ang mga sistema sa halip na tanggapin na lang ang briefing ng developer bilang huling salita.

Ano talaga ang ginagawa nila

Ang kanilang gawain ay nagkakumpol sa ilang mga lugar.

  • Sinusubukan ang frontier models, minsan bago ilabas, para sa dangerous capabilities sa mga larangan tulad ng cyber, biology, at autonomy, gamit ang mga pamamaraan sa likod ng mga pagsusuri ng kakayahan.
  • Pagbuo ng agham ng evaluation mismo, dahil ang pagsukat sa mga panganib na ito ay bukas pa ring problema sa pananaliksik, hindi pa isang naitatag na pamamaraan.
  • Pagpapayo sa gobyerno, para ang patakaran ay batay sa mga taong talagang sinuri ang mga sistema.
  • Koordinasyon sa buong mundo, upang hindi na muling buuin ang isang model na nasubukan sa isang bansa, at upang magsimulang magtagpo ang mga pamantayan.

Totoong pag-unlad ito sa institusyon. Ang pagbuo ng state capacity para maunawaan ang frontier AI ay kinakailangan para mapamahalaan ito. Hindi mo mapamamahalaan ang hindi mo kayang suriin, at hanggang kamakailan ay halos hindi ito magawa ng mga gobyerno.

Ang kapangyarihang karaniwang kulang sa kanila

Karamihan sa AI Safety Institutes ay makakapagsuri, makakapayuhan, at makakapag-publish. Kaunti lang ang makakapag-utos. Madalas nakadepende sa kooperasyon ng lab ang access sa mga model. Karaniwang nagbibigay-alam ang mga findings imbes na magbigkis. Sa karamihan ng kaso hindi kayang utusan ng institute na pigilan ang isang mapanganib na model. Makikita ng mga katawang ito ang panganib at makapagmumungkahi ng tugon. Bihira nilang makayang ipag-utos ito.

Ang agwat sa pagitan ng assessment at authority ang structural limit. Ang institute na natutuklasan ng seryosong hazard at makakapayo lamang ay kasing-epektibo lamang ng kagustuhan ng gobyerno na kumilos laban sa commercial at competitive pressure na magpatuloy. Karamihan sa kasalukuyang arkitektura ay isang warning system. Hindi pa ito isang safeguard hanggang sa may sumagot sa alarma na may kapangyarihan.

Ang karaniwang tutol ay sapat na ang technical capacity at mahahabol ng pulitika. Ang capacity na walang authority ang dahilan kung bakit nalaman ng mga gobyerno ang masamang balita nang huli at kumilos nang mas lalo pang huli. Ang testing na hindi kayang pigilan ay paghahanda para sa pamamahala, hindi ang pamamahala mismo.

Ano ang magagawa nila

Ang pangmatagalang halaga ng AI Safety Institutes ay ang kanilang binubuo para sa mga binding regime sa hinaharap: independiyenteng teknikal na kapasidad, pinagsamang pamantayan, at internasyonal na channel sa pagitan ng mga gobyerno. Sa ganitong kahulugan, sila ang unang anyo ng uri ng katawan na pinagtatalunan ng Foundation. Ang aming akda tungkol sa isang international monitoring agency naglalarawan kung saan ito maaaring humantong. Ang IPCC na modelo ipinapakita kung paano makapagpapatibay ang pinagsamang siyentipikong pagtatasa sa internasyonal na patakaran.

Ang kailangang magbago ay ang awtoridad. Dapat kumonekta ang assessment sa enforcement, maging sa pamamagitan ng domestic law na ginagawang kondisyon ng deployment ang sign-off ng isang institute, o sa pamamagitan ng international framework na nagbibigay ng tunay na kahihinatnan sa mga verified findings. Bigyan ang mga institusyong ito ng kapangyarihang naaayon sa kanilang eksperto, at malaking bahagi na ng scaffolding ng seryosong governance ang bahagyang naitatag. Ang transisyong ito ang paksa ng aming plano: pigilan ang superintelligence sa ilalim ng batas, na may public evaluation capacity bilang imprastruktura, hindi bilang kapalit ng pagbabawal at pagpapatunay.