Sau một sự cố suýt xảy ra nghiêm trọng, điều tra viên từ Hội đồng An toàn Giao thông Quốc gia không yêu cầu hãng hàng không nộp một ghi chú riêng tư rồi bỏ qua. Sự kiện được đưa vào hệ thống. Các phát hiện được viết ra để nhà thiết kế, huấn luyện viên và cơ quan quản lý đều có thể thay đổi hành vi. Hành khách không bao giờ nghe câu chuyện vẫn bay trong bản cập nhật đó. Ký ức chung ấy là một phần lớn lý do vì sao bay thương mại trở nên an toàn như hiện nay.

Báo cáo sự cố AI là nỗ lực mang cho lĩnh vực này thói quen tương tự: ghi nhận, chia sẻ và điều tra có hệ thống các trường hợp hệ thống gây hại hoặc suýt gây hại. Khi một mô hình thất bại trong triển khai, tuột khỏi các rào chắn dưới sự lạm dụng, hoặc thể hiện hành vi nguy hiểm trong thử nghiệm, vẫn chưa có nghĩa vụ nhất quán nào để ghi nhận nó, không có nơi chung nào phải nhận nó, và không có lộ trình điều tra tiêu chuẩn nào. Những bài học có thể bảo vệ mọi người vẫn nằm trong một công ty, hoặc biến mất.

Đề xuất đơn giản trên giấy: xác định các loại thiệt hại và suýt xảy ra, yêu cầu báo cáo vào hệ thống chung, và để lĩnh vực học hỏi một lần, tập thể.

Những gì một hệ thống tốt sẽ nắm bắt

Phiên bản hữu ích rộng hơn những thảm họa trên tiêu đề.

  • Thiệt hại đã triển khai, nơi một hệ thống ngoài đời thực gây ra thiệt hại hoặc trục trặc nghiêm trọng.
  • Các sự cố suýt xảy ra, nơi có điều gì đó sai sót và thiệt hại được tránh kịp thời. Hàng không coi những điều này có giá trị thông tin như các vụ tai nạn.
  • Các hành vi nguy hiểm được phát hiện trong quá trình thử nghiệm, bao gồm các lỗi được phát hiện bởi đánh giá đối thủ và đánh giá, để cảnh báo rủi ro của một phòng thí nghiệm đến được các nơi còn lại.
  • Các sự kiện an ninh, chẳng hạn như nỗ lực đánh cắp trọng số mô hình hoặc vượt qua các biện pháp bảo vệ.

Việc báo cáo phải được cấu trúc và, khi phù hợp, được bảo vệ. Tổ chức sẽ tiết lộ trung thực hơn khi điều tra an toàn tách biệt khỏi sân khấu đổ lỗi. Hàng không đã học được sự tách biệt này vì một lý do. Không có nó, lựa chọn hợp lý là im lặng.

Tại sao đáng làm

Dữ liệu sự cố được chia sẻ giúp lĩnh vực phát hiện các mô hình mà không tổ chức nào có thể thấy riêng lẻ. Các cơ quan quản lý có cơ sở bằng chứng dựa trên những gì thực sự đang sai thay vì suy đoán. Chế độ lỗi của một phòng thí nghiệm trở thành cảnh báo cho mọi người ngay trong tuần nó được phát hiện. Theo thời gian, ngành công nghiệp có được trí nhớ thể chế mà nó vẫn còn thiếu. Trong các biện pháp quản trị ASI, biện pháp này rẻ, được nhiều người ưa thích và đã quá hạn. Quỹ muốn nó trở thành bắt buộc.

Phản đối dân gian, được gọi là

Phiên bản lạc quan cho rằng hàng không đã chứng minh phương pháp: tiếp tục báo cáo, tiếp tục điều tra, và rủi ro thảm khốc sẽ giảm theo cách tỷ lệ mất thân máy bay đã giảm. Theo quan điểm này, hệ thống sự cố là động cơ an toàn chính, và các giới hạn dự đoán chỉ là sự phân tâm cho đến khi chúng ta có thêm dữ liệu tai nạn.

Hãy để ý thì thì mà động cơ vận hành. Báo cáo sự cố mang tính hồi cứu. Nó học từ những thiệt hại đã xảy ra. Điều này hiệu quả khi các sự cố, dù bi thảm đến đâu, vẫn ở mức ngành công nghiệp có thể sống sót, nhờ đó mỗi sự cố đều có thể dạy dỗ cả đội tàu. Hệ thống cải thiện từng sự kiện một.

Logic đó không còn đúng với các rủi ro mà Quỹ quan tâm nhất. Một thất bại thảm khốc của một hệ thống siêu trí tuệ không phải là hội đồng bạn triệu tập sau đó. Luận điểm cốt lõi của rủi ro tồn sinh là thất bại nghiêm trọng nhất có thể là thất bại không có sự phục hồi và do đó cũng không có bài học. Báo cáo sự cố xử lý tốt các thiệt hại tích lũy, có thể sống sót. Theo thiết kế, nó không thể xử lý cái không thể phục hồi.

Học hỏi từ thất bại giả định rằng bạn sống sót qua chúng. Với những thất bại quan trọng nhất, giả định đó chính là vấn đề.

Nó nằm ở đâu

Xây dựng hệ thống. Quy định bắt buộc. Bảo vệ việc tiết lộ trung thực. Sau đó giữ nó ngoài vị trí công cụ hàng đầu. Nó nên nằm cạnh các giới hạn dự phòng và xác minh được nêu trong kế hoạch của chúng tôi, vốn tồn tại chính xác vì một số thất bại không thể xử lý sau khi xảy ra.