工业安全方法发现AI风险 | 中田基金会

STPA (System Theoretic Process Analysis) is a hazard analysis method developed at MIT for complex sociotechnical systems. It maps control structures (who commands what, who monitors what, how information flows) rather than analyzing individual component failure probabilities. It is the standard method in aviation, nuclear power, and aerospace for identifying how a system can lose control even when all individual components work as designed. A June 2026 paper accepted at ICML applied STPA along with FRAM and STECA to a frontier AI coding agent scenario, finding that the control structure failures it identified were entirely invisible to standard model-level AI safety evaluation.

工业安全方法发现AI风险 | 中田基金会

The paper defines AI loss of control as the erosion of meaningful human oversight over AI system behavior, distinct from a single dramatic failure event. In the context of a frontier coding agent, loss of control can occur through three accumulating mechanisms: governance responsibilities that cannot be externally verified, monitoring delays that undermine the ability to intervene before harm occurs, and operational variability that erodes the accuracy of safeguard calibrations over time. Each mechanism on its own is manageable; all three interacting together constitute systemic loss of control.

工业安全方法发现AI风险 | 中田基金会

The June 2026 paper identified three risks that standard model evaluations do not detect. First, governance verification gap: accountability in frontier AI deployments relies substantially on self-reported compliance by the deploying lab. External verifiers cannot independently confirm that safety commitments are being honored at the operational level. Second, monitoring delay problem: the latency between an AI agent taking an action and a human monitor receiving the alert is long enough that intervention often arrives after the relevant harm pathway is already established. Third, operational variability drift: the statistical calibration of safeguards is done on representative samples at deployment time, but operational conditions shift (users change behavior, tasks change, edge cases accumulate) eroding the accuracy of calibrations that were once well-tuned without triggering any alert.

工业安全方法发现AI风险 | 中田基金会

Model-level evaluations test what a model does in response to inputs, whether it produces safe outputs, whether it refuses harmful requests, whether it stays within specified constraints. They evaluate the model as a component. Systemic risks emerge from the structure connecting components together: how oversight responsibilities are distributed, what information flows to whom at what speed, how operational context changes the effectiveness of controls over time. These structural properties are not tested by evaluating model outputs because they exist at the level of the deployment system rather than the model. The June 2026 ICML paper argues that model-level evaluation should be paired with systems-level hazard analysis as a mandatory component of frontier ASI governance.

工业安全方法发现AI风险

三种工业安全方法被应用于AI。
他们发现了模型评估无法察觉的风险。

将工业安全方法（STPA、FRAM、STECA）应用于前沿编码智能体，发现了模型测试遗漏的三项系统性风险：无法核实的实验室自我报告、慢到无法干预的监控，以及悄然过时的安全措施。

航空业并非通过测试每颗螺栓能否承受额定载荷而变得安全。它是通过询问部件如何相互作用、谁有权指挥什么，以及实际运行如何偏离安全论证所假设的条件而变得安全。这种纪律就是系统安全。其工具包包括STPA、FRAM和STECA，这些方法已是受监管行业的要求。

AI安全大多没有引入它们。一篇2026年的论文做到了。

Luca Carlucci、James Fillingham、Robert Walpole 和 Bartłomiej Kryś 将这三种方法应用于一个前沿编码代理，在真实的（实验室、企业客户、开发者）生产环境中进行测试， "先进AI失控风险的系统思维方法" （arXiv:2606.13474；ICML 2026 技术 ASI 治理研讨会）。他们发现了普通模型测试从未设计捕捉的三类隐患。

三种方法，用大白话来说

STPA

系统理论过程分析

绘制谁指挥什么、谁监视什么、信息流向何处的地图。找出即使每个组件按设计工作，控制仍失败的方式。

FRAM

功能共振分析法

将系统视为耦合函数，而非零件清单。展示日常普通变化如何组合成糟糕的系统级后果。

STECA

关键应用的社会技术评估

将STPA扩展到人员、激励和机构。追踪组织结构图与代码之间的问责空白。

他们使用的场景

他们对一个处于生产软件工作中的前沿编码代理运行了全部三种方法：长时程、工具使用，涉及真实代码库和外部服务，由实验室、企业客户和开发者监督。这些系统就是这样交付的。系统层面的失控风险仍几乎未被分析。

模型评估遗漏的三项发现

发现 1

实验室外的人无法验证安全说法

在他们的安排中，实验室做出安全承诺、制定使用规则，并监控违规行为。监管机构、客户和审计方无法独立核查运营情况。自报是主要的反馈回路。

STECA将其标记为失效的控制结构。只有当有人能看到控制行动是否奏效时，控制行动才有效。当负责安全的一方同时是证明安全成立的主要来源时，回路就被破坏了。这是一个设计事实，而不是说任何特定实验室不诚实。

发现 2

监测太慢，无法干预

STPA映射了代理执行行动与人类得知该行动之间的差距。在多步骤实时运行中，代理往往已在审阅者看到警报前调用了工具、编写了代码或推送了更改。

航空业称之为‘脱离回路’。正式的停止系统权限仍停留在纸面上，实际权限却跟不上。这就是今天对前沿编码代理进行实时监督可能的样子。

发现 3

安全保障措施会悄然过时

FRAM关注普通变异。安全措施根据部署时的系统状态调整。随后提示改变、任务组合改变、边缘案例堆积，实时分布偏离发布时使用的样本。

没有什么警报。防护措施仍然完全按照设计，对抗昨天的条件。差距悄然扩大，直到一个新案例击中不再适用的规则。

这对治理意味着什么

模型测试只问系统在给定输入下会做什么。它无法映射围绕该系统的控制结构、谁对什么负责，或发布后操作如何漂移。能力分数和红队测试仍有必要，但远远不够。

论文的核心诉求很简单：将模型层面危害分析与系统层面危害分析配对，作为安全评估的必备部分。STPA、FRAM和STECA是具体起点。从单个编码代理扩展到整个经济，同样的盲点正是造成逐渐丧失权力直到晚期才难以察觉。

对基金会而言，教训落在设计上，而非单篇论文。独立检查、算力规则和外部验证的存在，正是为了安全不依赖实验室自我报告。这就是我们的计划以具有约束力的限制与核查, ，而非仅靠自愿自我评估。如需完整方法细节，请阅读论文：: arXiv:2606.13474. 。然后把发现用于法律与制度，而非仅用于工作坊引用。

常见问题。

什么是 STPA，它与 AI 安全有什么关系？?

STPA（系统理论过程分析）是麻省理工学院为复杂社会技术系统开发的危害分析方法。它映射控制结构（谁指挥什么、谁监控什么、信息如何流动），而非分析单个组件失效。该方法在航空、核电和航天领域用于识别系统如何在所有组件按设计运行时仍失去控制。2026年6月被ICML接收的一篇论文将STPA与FRAM和STECA应用于前沿AI编码代理，发现其识别的控制结构失效对标准模型级AI安全评估完全不可见。

本文定义的AI失控是什么？?

该论文将人工智能失控定义为对人工智能系统行为有意义的人类监督的侵蚀，与单一戏剧性失败事件不同。在前沿编码代理的语境中，失控通过三种累积机制发生：无法外部核查的治理责任、在造成伤害前削弱干预能力的监测延迟，以及随着时间推移侵蚀保障校准精度的操作变异性。每种机制单独都是可控的；三种相互作用就构成系统性失控。

系统思维分析发现了哪三项风险？?

标准模型评估未能检测的三种风险。第一，治理验证差距：问责在很大程度上依赖部署实验室的自我报告合规，没有独立的外部验证机制。第二，监测延迟问题：AI行动与人类警报之间的延迟足够长，以至于干预往往在危害路径已确立后才到来。第三，运行变异漂移：部署时的精确安全校准会随着数月运行条件的改变而侵蚀，却不会触发任何警报。

为什么模型级 AI 安全评估会遗漏系统性风险？?

模型级评估测试模型对输入的响应：是否生成安全输出、拒绝有害请求、遵守约束。它把模型当作一个组件来评估。系统性风险来自连接各组件的结构：监督责任如何分配、信息以何种速度在何处流动、运营环境如何随时间改变控制有效性。这些结构属性无法通过评估模型输出进行测试，因为它们存在于部署系统层面。2026年6月的ICML论文主张，模型级评估必须与系统级危害分析配对，作为前沿ASI治理的强制组成部分。

三种工业安全方法被应用于AI。他们发现了模型评估无法察觉的风险。

三种方法，用大白话来说

他们使用的场景

模型评估遗漏的三项发现

这对治理意味着什么

常见问题。

深入探索

仅靠模型评估是不够的。

三种工业安全方法被应用于AI。
他们发现了模型评估无法察觉的风险。

仅靠模型评估
是不够的。