심각한 아차사고가 발생한 후, 미국 교통안전위원회 조사관은 항공사에 비공개 메모를 제출하고 넘어갈 것을 요구하지 않습니다. 사건은 시스템에 들어갑니다. 조사 결과는 설계자, 훈련 담당자, 규제 당국 모두가 행동을 바꿀 수 있도록 작성됩니다. 그 이야기를 듣지 못한 승객도 여전히 업데이트된 안전 속에서 비행합니다. 이 공유된 기억이 상업 항공이 오늘날처럼 안전해진 큰 이유입니다.
AI 사고 보고는 이 분야에 같은 습관을 부여하려는 시도입니다. 즉, 시스템이 피해를 일으키거나 가까스로 피해를 피한 사례를 체계적으로 기록하고 공유하며 조사하는 것입니다. 모델이 배포 중 실패하거나, 오용으로 가드레일을 벗어나거나, 테스트에서 위험한 행동을 보일 때, 이를 일관되게 기록할 의무도, 반드시 받아야 할 공유 장소도, 표준 조사 경로도 아직 없습니다. 모두를 보호할 수 있는 교훈이 한 회사 안에 머물거나 사라집니다.
제안은 서류상으로는 간단합니다: 피해와 아차사고의 범주를 정의하고, 공유 시스템에 보고를 의무화하며, 분야 전체가 한 번에 집단적으로 배우도록 하는 것입니다.
좋은 시스템이 포착할 것
유용한 버전은 헤드라인 재앙보다 더 광범위합니다.
- 실제 세계에서 시스템이 피해를 입히거나 심각한 오작동을 일으킨 배포된 피해.
- 사고 직전 사례, 즉 무언가 잘못되어 피해가 간신히 피한 경우이다. 항공 분야는 이를 사고만큼이나 유익한 것으로 취급한다.
- 테스트에서 발견된 위험한 행동, 다음으로 드러난 실패 포함 레드 팀 활동 및 평가를 통해 한 연구소의 위험 경고가 다른 곳에 전달됩니다.
- 모델 가중치를 훔치거나 안전 장치를 우회하려는 시도 같은 보안 사건입니다.
보고는 구조화되어야 하며 적절한 경우 보호되어야 합니다. 안전 조사가 비난 극장과 분리될 때 조직은 더 정직하게 공개합니다. 항공은 그 분리를 배웠습니다. 그것 없이는 합리적인 선택은 침묵입니다.
그것이 가치 있는 이유
공유된 사고 데이터는 어떤 단일 조직도 볼 수 없는 패턴을 분야 전체가 발견하게 해준다. 규제 당국은 추측이 아니라 실제로 무엇이 잘못되고 있는지에 기반한 증거를 확보한다. 한 연구소에서 발견된 실패 양상은 발견된 그 주에 모두의 경고가 된다. 시간이 지나면서 산업은 여전히 부족한 제도적 기억을 쌓아간다. ASI 거버넌스 수단 중에서 이 조치는 비용이 적고 폭넓은 지지를 받으며 이미 늦은 일이다. 재단은 이를 의무화하기를 원한다.
이름 붙여진 민간 반대론
낙관적 견해는 항공이 그 방법을 증명했다고 말합니다. 보고와 조사를 계속하면, 선체 손실률이 떨어진 것처럼 치명적 위험이 줄어든다는 것입니다. 이 관점에서 사건 보고 체계가 주요 안전 장치이며, 더 많은 충돌 데이터가 나올 때까지 선제적 제한은 방해가 됩니다.
엔진이 작동하는 시제를 주목하십시오. 사고 보고는 회고적입니다. 이미 발생한 피해로부터 배웁니다. 이는 실패가 아무리 비극적이라도 산업 수준에서 생존 가능할 때 작동하며, 각 사건이 전체 집단을 가르칠 수 있습니다. 시스템은 사건 단위로 개선됩니다.
그 논리는 재단이 가장 우려하는 위험에 대해서는 무너집니다. A 초지능 시스템의 치명적 실패 는 나중에 소집하는 위원회가 아닙니다. 실존적 위험의 핵심 주장은 가장 심각한 실패가 회복이 없고 따라서 교훈도 없는 실패일 수 있다는 것입니다. 사고 보고는 누적되고 생존 가능한 피해를 잘 처리합니다. 설계상 회복 불가능한 피해는 다룰 수 없습니다.
실패로부터 배우려면 그 실패를 살아남아야 한다. 가장 중요한 실패의 경우, 그 가정이 바로 문제다.
어디에 위치하는가
시스템을 구축하세요. 의무화하세요. 정직한 공개를 보호하세요. 그런 다음 도구 상자의 최상위에서 빼내세요. 그것은 우리의 계획, 이는 일부 실패가 사후에 처리될 수 없기 때문에 존재합니다.