"نحن نبني الطائرة أثناء طيرانها." كانت هذه العبارة مفضلة في مجال التكنولوجيا لعقود، وقد انتقلت بسلاسة إلى الذكاء الاصطناعي. تأتي مع ابتسامة نصفية، كطريقة يعترف بها المهندس باختراق ناجح، وهي مقصودة كتباهٍ بالجرأة. عند سماعها حرفيا، فهي اعتراف.
تستعير الاستعارة هيبة حقيقية. الطيران التجاري هو أفضل قصة سلامة لدى جنسنا البشري: نشاط كان يقتل طياريه بشكل روتيني قبل قرن من الزمان أصبح الآن معدل حوادثه المميتة منخفضاً بما يكفي ليُحسب لكل مليون إقلاع بدلاً من كل ألف. هذا السجل حقيقي. الطريقة التي أنتجته هي الجزء الذي يستحق النظر إليه، لأن نصفه لا ينجو من الاحتكاك بما نبنيه الآن.
لكل قاعدة جهة تقف خلفها
أصبح الطيران آمناً من خلال التحطم.
على مدرج مغطى بالضباب في تينيريفي في مارس 1977، اصطدمت طائرتان من طراز 747 ومات 583 شخصاً، ولا يزال الحادث الأسوأ في تاريخ الصناعة. ونتج عنه توحيد عبارات الراديو والدفع نحو إدارة موارد الطاقم، وهو الانضباط الذي يسمح للضابط الثانوي بمخالفة القبطان. وأدى حريق في دورة المياه على متن طائرة إير كندا 797 عام 1983 إلى مقتل 23 من أصل 46 شخصاً كانوا على متنها، فأُنتجت كواشف دخان لدورات المياه ومطفآت آلية في سلات المهملات وإضاءة إخلاء عند مستوى الأرض ومواد مقاومة للحريق في المقاعد. وسقطت طائرة فالوجيت 592 في إيفرغليدز عام 1996 وعلى متنها 110 أشخاص، فأُعيدت صياغة قواعد نقل مولدات الأكسجين الكيميائية كبضائع.
لدى الصناعة اسم لهذا النمط وليس مديحاً: عقلية شاهد القبر. يتحرك المنظم بعد أن تُحصى التوابيت. وقد أمضى الطيران عقوداً يخرج من هذا النمط بنجاح حقيقي، من خلال الإبلاغ السري عن الحوادث الوشيكة من قبل الطواقم ومجلس تحقيق في الحوادث ينشر نتائجه ليطلع عليها المنافسون. تلك الإصلاحات هي النموذج الذي يلجأ إليه الناس حين يجادلون بأن الذكاء الاصطناعي يمكن جعله آمناً بالطريقة نفسها. لكن لاحظ ما يتطلبه حتى النسخة المعدلة. يجب أن يحدث خطأ ما، على نطاق ينجو منه القطاع، وبشكل متكرر بما يكفي لظهور النمط. تعتمد حلقة التعلم على إخفاقات يمكن تحملها.
ما ترفضه الطيران فعله
يُترك النصف الآخر من المنهج خارج الاستعارة تماما. لا تضع الطيران طائرة جديدة في الجو وتنتظر ما سيحدث. لا يجوز لطراز جديد نقل راكب مدفوع الأجر حتى يثبت المصنع صلاحيته للطيران أمام جهة تنظيمية تملك سلطة الرفض: سنوات من التحليل والاختبارات الجوية، مع وقوع عبء الإثبات على عاتق الصانع. يجب تقديم الحجة مسبقاً, ، كتابةً، إلى شخص مخول بقول لا.
لا أحد في الطيران يبني الطائرة أثناء الطيران. حظرت الصناعة ذلك. هيكل طائرة معتمد بالطريقة التي يُطلق بها نموذج حدودي سيطير بقوة مذكرة الشركة المصنعة التي تقول إنه يبدو جيدًا.
الـ 737 MAX
لقد أجرت الطيران بالفعل شيئاً قريباً من تجربتنا، والنتيجة تستحق نظرة طويلة.
حمل بوينغ 737 ماكس قطعة برمجية تُدعى إم سي إيه إس تملك صلاحية دفع مقدمة الطائرة للأسفل. ولم يكن معظم الطواقم التي تطير الطائرة تعلم بوجودها. وكانت تستمد صورتها عن العالم من مستشعر واحد، وعندما كذب ذلك المستشعر فعلت إم سي إيه إس بالضبط ما بُنيت لتفعله وأسقطت طائرتين على الأرض رغم محاولات الطيارين. الخطوط الجوية ليون إير 610، أكتوبر 2018: 189 قتيلاً. الخطوط الجوية الإثيوبية 302، بعد أربعة أشهر: 157 قتيلاً. وأُوقف أسطول العالم بعد الحادث الثاني.
قارن ظروف ذلك الفشل بظروفنا. ثقافة سلامة ناضجة، ونظام اعتماد إلزامي، ومسجلات في الذيل، وآلاف المهنيين المدربين. ومع ذلك استغرق الأمر ٣٤٦ وفاة لإثبات أن البرمجيات التي تملك سلطة التحكم واعتقادا خاطئا عن العالم لن تتراجع لأن البشر في قمرة القيادة يخالفونها. وقد فوض بعض أعمال الاعتماد على ماكس من الجهة المنظمة إلى موظفي بوينغ أنفسهم، وهو أمر يجدر تذكره في المرة القادمة التي يقيم فيها مختبر إصداره بنفسه.
ولم يرد MCAS شيئاً. لم يكن لديه نموذج للطيارين ولا رأي حول إيقافه. كان قطعة متواضعة من الكود مع رد فعل خام واحد، وتفوق على الجميع.
الآن خذ العبارة حرفيًا
تحمل الطائرة في الاستعارة الجميع. لا ٥٨٣، ولا ٣٤٦. كل من هو على قيد الحياة، وكل من قد يولد بعد. ولا يوجد مطار تحويل ولا هيكل طائرة ثان لتعديله متى دخل الأول. وحلقة التحطم والتحقيق والإصلاح التي جعلت الطيران آمنا ميسورة لأن الحوادث محدودة ويوجد دائما رحلة تالية لتطبيق الدرس عليها. وإذا أجريت هذه الحلقة على الذكاء الفائق الاصطناعي فإن نقطة البيانات الأولى تأخذ الركاب والمحققين معها. التجربة والخطأ تحتاج إلى ناجين.
هذا النظام سيطير بنفسه، ويختار وجهته بنفسه، ويفهم الميكانيكي أفضل مما يفهمه الميكانيكي نفسه. كل ضمانات الطيران تفترض أن الآلة لا رأي لها في عملية الإصلاح. هذا الافتراض هو مشكلة التحكم.
اكتسبت الطيران سجلها الأمني من خلال التحطم بمقياس يستطيع العالم استيعابه. تعتمد الطريقة بأكملها على وجود رحلة تالية.
الأرض خيار
يلجأ الناس إلى العبارة لوصف مأزق لا مخرج منه: الطائرة في الجو أصلا، فلنتقن بناءها في الهواء إذن. درس الطيران الحقيقي يسير في الاتجاه المعاكس. لم تكن سلطة الجهة المنظمة تكمن أساسا في التحقيق. بل كانت في سلطة إبقاء الطائرة على الأرض. شهادة صلاحية الطيران إذن هي إذن بالإقلاع، يُحجب حتى تُقدم الحجة.
يقال لنا إن الخيار الوحيد هو الطيران والتعامل مع الأمر أثناء الطريق. هناك خيار آخر. حظر ملزم وقابل للتحقق على بناء الذكاء الفائق الاصطناعي هو المعيار الجوي المطبق بصدق: لا تبنِ عقلاً أذكى من صانعيه. لا يمكن السيطرة على الذكاء الفائق، لذا لا يقلع. هذه هي خطتنا, ولا يطلب من العالم شيئًا لا يطلبه العالم بالفعل من طائرة إقليمية.