بعد حادث وشيك خطير، لا يطلب محقق من مجلس السلامة الوطني للنقل من شركة الطيران تقديم مذكرة خاصة والمضي قدمًا. بل يدخل الحدث في نظام. وتُكتب النتائج بحيث يستطيع المصممون والمدربون والمنظمون جميعًا تغيير سلوكهم. والراكب الذي لا يسمع القصة أبدًا يطير داخل التحديث. وهذه الذاكرة المشتركة تشكل جزءًا كبيرًا من السبب الذي جعل الطيران التجاري آمنًا كما هو اليوم.
الإبلاغ عن حوادث الذكاء الاصطناعي محاولة لمنح هذا المجال العادة نفسها: التسجيل المنهجي ومشاركة والتحقيق في الحالات التي تسبب فيها الأنظمة ضررا أو تقترب منه. عندما يفشل نموذج في النشر أو يفلت من ضوابطه تحت سوء الاستخدام أو يظهر سلوكا خطيرا في الاختبار، لا يزال هناك واجب ثابت لتسجيله ولا مكان مشترك يجب أن يتلقاه ولا مسار تحقيق قياسي. الدروس التي قد تحمي الجميع تبقى داخل شركة واحدة أو تختفي.
المقترح بسيط على الورق: تحديد فئات الضرر والحوادث الوشيكة، واشتراط الإبلاغ في نظام مشترك، والسماح للمجال بالتعلم مرة واحدة بشكل جماعي.
ما الذي سيلتقطه نظام جيد
النسخة المفيدة أوسع من كوارث العناوين الرئيسية.
- الأضرار المنشورة، حيث تسبب نظام في العالم الحقيقي بضرر أو عطل خطير.
- الحوادث الوشيكة، حيث حدث خطأ وتم تجنب الضرر بصعوبة. وتعامل الطيران مع هذه الحوادث على أنها مفيدة مثل الحطام.
- سلوكيات خطيرة وُجدت في الاختبار، بما في ذلك الإخفاقات التي كشفت عنها الاختبار الهجومي والتقييمات، بحيث يصل تحذير الخطر من مختبر واحد إلى البقية.
- أحداث أمنية، مثل محاولات سرقة أوزان النموذج أو الالتفاف على الضمانات.
يجب أن يكون الإبلاغ منظماً ومحمياً حيثما كان مناسباً. تكشف المنظمات بصدق أكبر عندما يُفصل التحقيق في السلامة عن مسرح اللوم. تعلمت الطيران هذا الفصل لسبب. بدونه، الخطوة العقلانية هي الصمت.
لماذا يستحق الأمر القيام به
تتيح بيانات الحوادث المشتركة للمجال رصد أنماط لا تراها أي منظمة منفردة. يحصل المنظمون على قاعدة أدلة مبنية على ما يحدث فعليا لا على التكهنات. يصبح وضع فشل أحد المختبرات تحذيرا للجميع في الأسبوع الذي يكتشف فيه. مع الوقت يكتسب القطاع الذاكرة المؤسسية التي لا يزال يفتقر إليها. من بين تدابير الحوكمة في مؤسسة ناكادا يعد هذا رخيصا ومحبوبا على نطاق واسع ومتأخرا. تريد المؤسسة جعله إلزاميا.
الاعتراض الشعبي، المسمى
تقول النسخة المتفائلة إن الطيران أثبت الطريقة: استمر في الإبلاغ، واستمر في التحقيق، وسينخفض خطر الكارثة كما انخفضت معدلات فقدان الهياكل. وفق هذا الرأي، تشكل أنظمة الحوادث المحرك الرئيسي للسلامة، وتكون الحدود الاستباقية إلهاء حتى نحصل على المزيد من بيانات الحوادث.
لاحظ الزمن الذي يعمل عليه المحرك. الإبلاغ عن الحوادث استرجاعي. يتعلم من أضرار وقعت بالفعل. وهذا ينجح حين تكون حالات الفشل، مهما بلغت مأساويتها، قابلة للنجاة على مستوى القطاع، فتُعلّم كل واحدة الأسطول. يتحسن النظام حدثاً بحدث.
هذا المنطق ينهار أمام المخاطر التي تهتم بها المؤسسة أكثر. أ فشل كارثي لنظام ذكاء فائق ليست لجنة تعقد بعد وقوع الحدث. والادعاء الأساسي لخطر الوجود هو أن أخطر فشل قد يكون ذلك الذي لا يتيح تعافيا وبالتالي لا يتيح درسا. ويتعامل الإبلاغ عن الحوادث مع الأضرار المتراكمة القابلة للنجاة بشكل جيد. وهو بتصميمه لا يستطيع معالجة الحدث غير القابل للتعافي.
التعلم من الفشل يفترض أنك تنجو منه. وبالنسبة للفشل الأهم، فإن هذا الافتراض هو المشكلة.
أين يقع
ابن النظام. ألزمه. احم الإفصاح الصادق. ثم أبقه خارج الخانة العليا من مجموعة الأدوات. يجب أن يجلس بجانب الحدود الاستباقية والتحقق المنصوص عليها في خطتنا, والتي توجد تحديداً لأن بعض الإخفاقات لا يمكن التعامل معها بعد وقوعها.