세 가지 산업 안전 방법이 AI에 적용되었습니다.
모델 평가가 발견하지 못한 위험을 발견했습니다.

STPA(System Theoretic Process Analysis)는 MIT에서 복잡한 사회기술 시스템을 위해 개발한 위험 분석 방법이다. 개별 구성 요소 고장을 분석하는 대신 제어 구조(누가 무엇을 명령하고, 누가 무엇을 감시하며, 정보가 어떻게 흐르는지)를 매핑한다. 항공, 원자력, 항공우주 분야에서 모든 개별 구성 요소가 설계대로 작동해도 시스템이 제어를 잃을 수 있는 방식을 식별하는 데 표준으로 사용된다. 2026년 6월 ICML에 채택된 논문은 최전선 AI 코딩 에이전트에 STPA를 FRAM, STECA와 함께 적용해, 식별된 제어 구조 실패가 표준 모델 수준 AI 안전 평가에는 전혀 보이지 않는다는 점을 발견했다.

이 논문은 인공지능 통제 상실을 단일 극적인 실패 사건이 아닌 인공지능 시스템 행동에 대한 의미 있는 인간 감독의 침식으로 정의합니다. 최전선 코딩 에이전트 맥락에서 통제 상실은 세 가지 누적 메커니즘을 통해 발생합니다. 외부 검증이 불가능한 거버넌스 책임, 피해가 발생하기 전에 개입할 수 있는 능력을 약화시키는 감시 지연, 시간이 지남에 따라 안전장치 교정 정확도를 저하시키는 운영 변동성입니다. 각 메커니즘은 단독으로는 관리 가능하지만, 세 가지가 상호 작용하면 체계적 통제 상실을 구성합니다.

표준 모델 평가가 발견하지 못하는 세 가지 위험. 첫째, 거버넌스 검증 공백: 책임성은 배포 연구소의 자체 보고에 크게 의존하며 독립적인 외부 검증 장치가 없다. 둘째, 모니터링 지연 문제: AI 행동과 인간 경고 사이의 지연 시간이 길어 개입이 피해 경로가 이미 형성된 뒤에 도착하는 경우가 많다. 셋째, 운영 변동성 드리프트: 배포 시점에 정확했던 안전장치 교정이 수개월의 운영 조건 변화로 인해 약화되지만 어떤 경고도 발생하지 않는다.

모델 수준 평가는 모델이 입력에 반응해 무엇을 하는지, 즉 안전한 출력을 생성하는지, 유해한 요청을 거부하는지, 제약 내에 머무르는지를 테스트한다. 이는 모델을 구성 요소로 평가한다. 시스템적 위험은 구성 요소를 연결하는 구조에서 발생한다. 감독 책임이 어떻게 분배되는지, 정보가 어느 속도로 어디로 흐르는지, 운영 맥락이 시간이 지남에 따라 통제 효과를 어떻게 변화시키는지 등이다. 이러한 구조적 속성은 모델 출력을 평가하는 것으로 테스트되지 않는다. 왜냐하면 그것들은 배포 시스템 수준에 존재하기 때문이다. 2026년 6월 ICML 논문은 모델 수준 평가가 최전선 ASI 거버넌스의 필수 구성 요소로 시스템 수준 위험 분석과 결합되어야 한다고 주장한다.