Nasumpungan ng Industriyal na mga Paraan sa Kaligtasan ang mga Panganib sa AI | Nakada Foundation to Save Humanity

STPA (System Theoretic Process Analysis) is a hazard analysis method developed at MIT for complex sociotechnical systems. It maps control structures (who commands what, who monitors what, how information flows) rather than analyzing individual component failure probabilities. It is the standard method in aviation, nuclear power, and aerospace for identifying how a system can lose control even when all individual components work as designed. A June 2026 paper accepted at ICML applied STPA along with FRAM and STECA to a frontier AI coding agent scenario, finding that the control structure failures it identified were entirely invisible to standard model-level AI safety evaluation.

Nasumpungan ng Industriyal na mga Paraan sa Kaligtasan ang mga Panganib sa AI | Nakada Foundation to Save Humanity

The paper defines AI loss of control as the erosion of meaningful human oversight over AI system behavior, distinct from a single dramatic failure event. In the context of a frontier coding agent, loss of control can occur through three accumulating mechanisms: governance responsibilities that cannot be externally verified, monitoring delays that undermine the ability to intervene before harm occurs, and operational variability that erodes the accuracy of safeguard calibrations over time. Each mechanism on its own is manageable; all three interacting together constitute systemic loss of control.

Nasumpungan ng Industriyal na mga Paraan sa Kaligtasan ang mga Panganib sa AI | Nakada Foundation to Save Humanity

The June 2026 paper identified three risks that standard model evaluations do not detect. First, governance verification gap: accountability in frontier AI deployments relies substantially on self-reported compliance by the deploying lab. External verifiers cannot independently confirm that safety commitments are being honored at the operational level. Second, monitoring delay problem: the latency between an AI agent taking an action and a human monitor receiving the alert is long enough that intervention often arrives after the relevant harm pathway is already established. Third, operational variability drift: the statistical calibration of safeguards is done on representative samples at deployment time, but operational conditions shift (users change behavior, tasks change, edge cases accumulate) eroding the accuracy of calibrations that were once well-tuned without triggering any alert.

Nasumpungan ng Industriyal na mga Paraan sa Kaligtasan ang mga Panganib sa AI | Nakada Foundation to Save Humanity

Model-level evaluations test what a model does in response to inputs, whether it produces safe outputs, whether it refuses harmful requests, whether it stays within specified constraints. They evaluate the model as a component. Systemic risks emerge from the structure connecting components together: how oversight responsibilities are distributed, what information flows to whom at what speed, how operational context changes the effectiveness of controls over time. These structural properties are not tested by evaluating model outputs because they exist at the level of the deployment system rather than the model. The June 2026 ICML paper argues that model-level evaluation should be paired with systems-level hazard analysis as a mandatory component of frontier ASI governance.

Nasumpungan ng Industriyal na mga Paraan sa Kaligtasan ang mga Panganib sa AI

Tatlong Paraan ng Industrial Safety ang Inilapat sa AI.
Nakahanap Sila ng mga Panganib na Hindi Makikita ng Mga Model Evaluation.

Industrial safety methods (STPA, FRAM, STECA) na inilapat sa isang frontier coding agent ay nakakita ng tatlong systemic risk na hindi nahuhuli ng model tests: unverifiable lab self-report, monitoring na masyadong mabagal para makialam, at safeguards na tahimik na nagiging outdated.

Hindi naging ligtas ang aviation sa pamamagitan ng pagsubok kung kayang hawakan ng bawat bolt ang rated load nito. Naging ligtas ito sa pamamagitan ng pagtatanong kung paano nakikipag-ugnayan ang mga parts, sino ang pinahihintulutang mag-utos, at paano lumalayo ang tunay na operations sa conditions na ipinapalagay ng safety case. Ang disiplinang iyon ay systems safety. Kasama sa toolkit nito ang STPA, FRAM, at STECA, mga methods na hinihingi na ng regulated industries.

Ang AI safety ay halos hindi pa nai-import ang mga ito. Isang 2026 paper ang gumawa nito.

Si Luca Carlucci, James Fillingham, Robert Walpole, at Bartłomiej Kryś ang naglalapat ng tatlong metodong iyon sa isang frontier coding agent sa isang makatotohanang production setup (lab, enterprise customer, developers) sa "Isang Systems-Thinking Approach sa Loss of Control Risk mula sa Advanced AI" (arXiv:2606.13474; ICML 2026 Technical ASI Governance Workshop). Natuklasan nila ang tatlong panganib na hindi kailanman idinisenyo ang ordinaryong model tests para mahuli.

Ang tatlong pamamaraan, sa simpleng wika

STPA

Pagsusuri ng Proseso ayon sa Teorya ng Sistema

Nagmamapa kung sino ang nag-uutos sa ano, sino ang nagbabantay sa ano, at saan dumadaloy ang impormasyon. Natutuklasan kung paano nabibigo ang kontrol kahit gumagana nang maayos ang bawat bahagi.

FRAM

Paraan ng Pagsusuri ng Functional Resonance

Tinitingnan ang system bilang magkakaugnay na functions, hindi bilang listahan ng mga parte. Ipinapakita kung paano ang ordinaryong araw-araw na pagkakaiba-iba ay maaaring magdulot ng masamang system-level na resulta.

STECA

Socio-Technical na Pagsusuri para sa mga Kritikal na Aplikasyon

Inilalawig ang STPA sa mga tao, insentibo, at institusyon. Sinusundan ang mga puwang sa pananagutan na nasa pagitan ng org charts at code.

Ang senaryong ginamit nila

Sinubukan nila ang lahat ng tatlong pamamaraan sa isang frontier coding agent sa totoong gawaing software: long-horizon, tool-using, may tunay na codebases at external services, pinangangasiwaan ng isang lab, enterprise customers, at mga developer. Ganyan na talaga ang pagpapadala ng mga sistemang ito ngayon. Ang loss-of-control risk sa antas ng sistema ay halos hindi pa nasusuri.

Tatlong natuklasan na hindi nasasaklaw ng mga pagsusuri sa modelo

Natuklasan 1

Walang makakapagtiyak sa kwento ng kaligtasan maliban sa mga nasa loob ng lab

Sa kanilang setup, ang lab ang gumagawa ng mga safety commitments, nagsusulat ng mga usage rules, at nagbabantay para sa mga violations. Ang mga regulator, customer, at auditor ay hindi maaaring independiyenteng suriin ang mga operasyon. Ang self-report ang pangunahing feedback loop.

Itinuturo ng STECA na ito ay sirang control structure. Ang control action ay gumagana lamang kung may makakakita kung ito ba ay naging epektibo. Kapag ang partido na responsable sa kaligtasan ay siya ring pangunahing pinagmumulan ng patunay na ligtas ito, ang loop ay nasisira. Ito ay isang design fact, hindi isang paratang na ang anumang lab ay hindi tapat.

Natuklasan 2

Masyadong mabagal ang monitoring para makialam

Minamapa ng STPA ang agwat sa pagitan ng kilos ng isang agent at ng pag-alam ng tao na ito ay kumilos. Sa multi-step, real-time na takbo, madalas nang tumawag ng tool, sumulat ng code, o nag-push ng pagbabago ang agent bago makita ng reviewer ang alert.

Tinatawag ito ng abyasyon na paglabas sa loop. Nananatili sa papel ang pormal na awtoridad para pigilan ang system. Hindi nakakasabay ang functional authority. Ganyan ang hitsura ng real-time oversight ng frontier coding agents ngayon.

Natuklasan 3

Tahimik na nagiging lipas ang mga pananggalang

Nakatuon ang FRAM sa ordinaryong pagkakaiba-iba. Iniaangkop ang mga safeguard sa hitsura ng system noong deployment. Pagkatapos ay nagbabago ang prompts, nagbabago ang task mix, nag-iipon ang edge cases, at lumalayo ang live distribution sa sample na ginamit noong paglulunsad.

Walang nagbabala. Ginagawa pa rin ng mga safeguard nang eksakto ang dinisenyo nilang gawin laban sa mga kondisyon kahapon. Tahimik na lumalaki ang agwat hanggang sa tumama ang isang bagong kaso sa isang patakaran na hindi na angkop.

Ano ang ibig sabihin nito para sa governance

Ang model tests ay nagtatanong kung ano ang ginagawa ng system sa inputs. Hindi nila minamapa ang control structure sa paligid nito, kung sino ang accountable sa ano, o paano nagbabago ang operations pagkatapos ng release. Kailangan pa rin ang capability scores at red teams. Hindi sapat ang mga iyon.

Simple lang ang hiling ng papel: pagsamahin ang model-level hazard analysis at systems-level hazard analysis bilang kinakailangang bahagi ng safety assessment. Ang STPA, FRAM, at STECA ay konkretong simula. Kapag pinalawak mula sa isang coding agent hanggang sa buong ekonomiya, ang parehong blind spot ang dahilan kung bakit unti-unting pagkawala ng kapangyarihan mahirap makita hanggang sa huli.

Para sa Foundation, ang aral ay nasa disenyo, hindi sa isang papel. Ang independent inspection, compute rules, at external verification ay umiiral para hindi nakasalalay ang kaligtasan sa lab na nag-uulat tungkol sa sarili nito. Kaya nakasentro ang aming plano binding limits at verification, not voluntary self-assessment alone. Read the paper if you want the full method detail: arXiv:2606.13474. Pagkatapos ay gamitin ang natuklasan sa batas at institusyon, hindi lang sa isang workshop citation.

Mga karaniwang tanong.

Ano ang STPA at bakit ito may kaugnayan sa AI safety?

Ang STPA (System Theoretic Process Analysis) ay isang hazard analysis method na binuo sa MIT para sa kumplikadong sociotechnical systems. Ito ay nagmamapa ng control structures (sino ang nag-uutos, sino ang nagmo-monitor, paano dumadaloy ang impormasyon) sa halip na suriin ang mga indibidwal na component failures. Ito ay pamantayan sa aviation, nuclear power, at aerospace para matukoy kung paano maaaring mawalan ng kontrol ang isang system kahit gumagana nang maayos ang lahat ng indibidwal na components. Isang papel noong Hunyo 2026 na tinanggap sa ICML ang naglapat ng STPA kasama ang FRAM at STECA sa isang frontier AI coding agent at nalaman na ang control structure failures na natukoy nito ay hindi nakikita ng standard model-level AI safety evaluation.

Ano ang AI loss of control ayon sa papel na ito?

Tinutukoy ng papel ang AI loss of control bilang ang erosion ng meaningful human oversight sa AI system behavior, na naiiba sa isang single dramatic failure event. Sa konteksto ng isang frontier coding agent, nangyayari ang loss of control sa pamamagitan ng tatlong accumulating mechanisms: governance responsibilities na hindi ma-verify externally, monitoring delays na nagpapahina sa kakayahang makialam bago mangyari ang pinsala, at operational variability na nagpapababa sa safeguard calibration accuracy sa paglipas ng panahon. Ang bawat mechanism ay manageable nang mag-isa; ang lahat ng tatlo na nakikipag-ugnayan ay bumubuo ng systemic loss of control.

Ano ang tatlong panganib na natuklasan ng systems-thinking analysis?

Tatlong panganib na hindi nakikita ng standard model evaluations. Una, ang governance verification gap: ang accountability ay lubos na nakasalalay sa self-reported compliance ng deploying lab, nang walang independent external verification mechanism. Pangalawa, ang monitoring delay problem: ang latency sa pagitan ng isang AI action at human alert ay sapat na mahaba para sa interbensyon na madalas na dumating pagkatapos na maitatag na ang harm pathway. Pangatlo, ang operational variability drift: ang safeguard calibrations na tumpak sa deployment ay unti-unting nawawala habang nagbabago ang operational conditions sa loob ng ilang buwan ng deployment, nang hindi nagti-trigger ng anumang alert.

Bakit hindi nasasaklaw ng model-level AI safety evaluations ang systemic risks?

Ang mga pagsusuri sa antas ng modelo ay sumusubok kung ano ang ginagawa ng isang modelo bilang tugon sa mga input: kung gumagawa ito ng ligtas na output, tumatanggi sa mapanganib na mga kahilingan, at nananatili sa loob ng mga limitasyon. Sinusuri nila ang modelo bilang isang bahagi. Lumilitaw ang mga sistematikong panganib mula sa istruktura na nag-uugnay sa mga bahagi: kung paano ipinamamahagi ang mga responsibilidad sa pangangasiwa, kung saan at gaano kabilis dumadaloy ang impormasyon, at kung paano binabago ng konteksto ng operasyon ang bisa ng kontrol sa paglipas ng panahon. Ang mga katangiang istruktural na ito ay hindi nasusubok sa pamamagitan ng pagsusuri sa mga output ng modelo dahil umiiral ang mga ito sa antas ng sistema ng deployment. Ang papel ng ICML noong Hunyo 2026 ay nagtatalo na ang pagsusuri sa antas ng modelo ay dapat ipares sa pagsusuri ng panganib sa antas ng sistema bilang isang mandatoryong bahagi ng pamamahala ng frontier ASI governance.

Tatlong Paraan ng Industrial Safety ang Inilapat sa AI.Nakahanap Sila ng mga Panganib na Hindi Makikita ng Mga Model Evaluation.

Ang tatlong pamamaraan, sa simpleng wika

Ang senaryong ginamit nila

Tatlong natuklasan na hindi nasasaklaw ng mga pagsusuri sa modelo

Ano ang ibig sabihin nito para sa governance

Mga karaniwang tanong.

Magbasa pa

Pagsusuri ng modelo lamanghindi sapat.

Tatlong Paraan ng Industrial Safety ang Inilapat sa AI.
Nakahanap Sila ng mga Panganib na Hindi Makikita ng Mga Model Evaluation.

Pagsusuri ng modelo lamang
hindi sapat.