إنه تمرين غير مريح ترتيب الكوارث. كل واحدة منها قد تقتل على نطاق يجعل كلمة "كارثة" تبدو صغيرة ووضعها في ترتيب قد يبدو كأنه ادعاء بأن الأدنى منها لا يهم. الحرب النووية والأوبئة المصممة من بين أسوأ ما قد يحدث لنا والعاملون على منعها يقومون ببعض أهم الأعمال الموجودة.

رتبها بصراحة وسيتصدر الذكاء الفائق القائمة، ليس لأن الآخرين صغار، بل لأنه الوحيد من الثلاثة الذي يحسن نفسه، ويقاوم كل التدابير المضادة التي نرفعها ضده، ولا يمنح فرصة ثانية.

لكن الانتباه والمال محدودان، ولا يوزعهما العالم بالتساوي على كل تهديد. يقرر شخص ما ما يحصل على معاهدة أو وكالة أو بند في الميزانية أو حركة. إذا كانت هذه القرارات ستتبع الخطر الحقيقي بدلاً من الخطر الذي نجد تصوره أسهل، فلا بد من إجراء الترتيب، وإجرائه بصوت عال. إذن: من بين التقنيات التي قد تنهي البشرية فعلياً هذا القرن، أيها الأكبر؟ الإجابة هي الذكاء الفائق / الذكاء الخارق، وليس قريباً من ذلك بأي حال.

ما يجب أن يعنيه "الأعظم"

لا يقاس الخطر بمدى سوء أسوأ الحالات وحدها. فالنيزك الذي قد يبخر الكوكب بأكمله لكنه يملك فرصة واحدة من كل تريليون للوصول يشكل خطرا أقل من حريق يملك فرصة رمي عملة لإحراق منزلك، رغم أن الحريق لا يستطيع إنهاء العالم. وللمقارنة بين هذه الثلاث بصدق يجب النظر في ثلاثة أسئلة في آن واحد.

ما مدى سوء أسوأ نتيجة واقعية؟ ما مدى احتمالية تلك النتيجة على مدى فترة زمنية ذات معنى؟ و(السؤال الذي غالبا ما يُترك خارجاً) إذا بدأ الأمر يسوء، هل يمكننا إيقافه بعد؟ الأخير يقوم بمعظم العمل هنا، وهو حيث تفترق الثلاثة.

المحاولة الأكثر دقة قام بها أي شخص لوضع أرقام لهذا هي محاولة الفيلسوف توبي أورد الهاوية, المنشور عام ٢٠٢٠ الذي يقدر احتمال أن يسبب كل خطر كارثة وجودية (انقراض أو انهيار لا نتعافى منه) خلال المائة عام القادمة. وأرقامه حكم منضبط لشخص أمضى سنوات في قراءة الأدبيات والتحدث إلى المتخصصين في كل مجال وليست قياسات؛ فلا أحد يستطيع قياس شيء لم يحدث قط. وهي أفضل تخمين منظم لدينا وشكلها هو ما يهم.

خطر تقدير أورد
حرب نوويةكارثة تتجاوز الخيال تقريبا، لكن معظم التقديرات (حتى في تبادل كامل والشتاء الذي يليه) لا تصل إلى حد الانقراض البشري الحرفي. ~واحد من كل ١٠٠٠
الأوبئة المُهندسةمسبب مرض مصمم عمداً للفتك والانتشار أصعب بكثير في السيطرة عليه من أي تفش طبيعي، والأدوات لبنائه تستمر في الرخص. ~1 من 30
الذكاء الاصطناعي غير المتوافقأكبر خطر منفرد في حسابات أورد، أكبر من كل المخاطر الطبيعية وكل المخاطر البشرية الأخرى في قائمته مجتمعة. ~1 من 10

الحرب النووية، الخطر الذي شكّل كامل التصور الحديث لنهاية العالم، تقع احتماليتها عند نحو واحد في الألف. أما الأوبئة المصممة، وهي تهديد لم يفكر فيه معظم الناس بجدية إلا منذ 2020، فتأتي باحتمال يزيد على ثلاثين ضعفاً. ويأتي الذكاء الاصطناعي غير المتوافق بمقدار أعلى من ذلك بدرجة ذلك, ، حوالي واحد من كل عشرة، ووفقا لتقدير أورد أكبر من كل شيء آخر في القائمة مجتمعا. الخطر الذي نحن الأقل استعدادا للحديث عنه هو الذي تضعه أرقامه أولا بهامش واسع.

الأسلحة النووية: هائلة، وتقترب من سقفها

ابدأ بالشيء الذي نفهمه أفضل. يوجد اليوم نحو اثني عشر ألف رأس نووي، يحتفظ معظمها الولايات المتحدة وروسيا. ومن شأن تبادل كامل أن يقتل مئات الملايين في الساعات الأولى، ومن خلال الدخان والتبريد الذي تظهره دراسة حديثة في Nature Food قد يتبع ذلك تقديرات، مما يعرض مليارات آخرين لخطر المجاعة. إنه أقرب شيء إلى الجحيم أنتجته الهندسة البشرية على الإطلاق.

ومع ذلك، عند مقارنته بمعيار إنهاء البشرية تماماً، يمتلك الحرب النووية خاصية غريبة: فهي تقريباً سيئة بقدر ما ستكون عليه على الإطلاق. لا تنمو الترسانات نحو نظام جديد من التدمير؛ بل بلغت ذروتها قرب سبعين ألف رأس حربي في الثمانينيات وانخفضت منذ ذلك الحين. لا تبني القنبلة المزيد من القنابل. لا تتعلم. لا تختار هدفاً. تتطلب كل كارثة نووية وجود إنسان، في مكان ما، ليقرر، أو يفشل، وتلك الحقيقة الوحيدة هي الخطاف الذي علقت عليه ثمانون عاماً من الوقاية.

لأن الخطر يبقى ثابتا، استطعنا بناء سقالة حوله: معاهدة منع الانتشار، وأنظمة حظر التجارب، واتفاقات الحد من الأسلحة التي يتم التحقق منها بالتفتيش، والخطوط الساخنة، وعقود من العقيدة المكتسبة بصعوبة حول كيفية تجنب الوقوع في الفناء. السقالة غير كاملة. إنه خطر له سقف، موجه نحو هدف لا يتحرك، تديره منظومة قضينا عمرا في بنائها. لهذا السبب، رغم رعبه كله، يقع في أسفل الثلاثة.

الأوبئة المصممة: أصعب في التحديد، لا تزال سلبية

ارتقِ درجة. الجائحة الطبيعية سيئة بما يكفي، فقد قتلت إنفلونزا 1918 نحو خمسين مليون شخص في عالم يقل حجمه عن ثلث حجم العالم اليوم. لكن الطبيعة، بمعنى قاتم، لا تحاول. أما العامل الممرض المصمم فسيحاول. خذ شيئا بقابلية انتقال الحصبة وفتك الحمى النزفية، وأزل المقايضة التي تفرضها التطور عادة بين الاثنين، فتحصل على سلاح بلا سقف طبيعي من النوع الذي يحد من ترسانة.

لهذا السبب يضع أورد الأوبئة المصممة أعلى من الحرب النووية بأكثر من ثلاثين ضعفاً. وقد حظرت اتفاقية الأسلحة البيولوجية هذه الأسلحة منذ عام ١٩٧٥، لكنها على خلاف نظيرتها النووية تفتقر إلى مفتشين وإلى أنياب، والبيولوجيا التي تحاول احتواءها تزداد رخصاً وسهولة وصول كل عام. لا تحتاج الكارثة هنا إلى قوة عظمى وألف رأس حربي. قد تحتاج إلى مختبر واحد وشخص واحد كان يجب ألا يحصل على تلك القدرة.

لكن تمسك بما لا يزال يحمله العامل الممرض هو. إنه سلبي. مرعب وعديم العقل وسلبي. فالفيروس لا يخطط. ولا يتوقع اللقاح ويعيد تصميم نفسه قبل أسبوع من إنهائنا له. ولا يفكر في الأشخاص الذين يطاردونه ويتخذ خطوات للبقاء مخفيا. إنه ينتشر وفق التدرج الأعمى الذي تمنحه إياه البيولوجيا، وفي مواجهته نستطيع أن نجلب كل ميزة يملكها نوع مفكر: التسلسل الجيني، واللقاحات، والحجر الصحي، والآلة المتراكمة للصحة العامة. قد نخسر السباق. لكنه سباق ضد شيء يمثل كل الفجوة بين الدرجة الثانية والأولى، لا يركض بل ينتشر فقط.

الذكاء الفائق: الذي يعود للوراء

الآن أعلى القائمة، والسبب في وجودها هناك. إن الذكاء الفائق / الذكاء الخارق غير المتوافق شيء مختلف تماما: وكيل، لا قنبلة أكبر أو جرثومة أذكى. لديه أهداف، أو يتصرف تماما كما لو كانت لديه. يستطيع أن يصوغ نموذجا للأشخاص الذين يحاولون تقييده، ويتوقع تحركاتهم، ويتصرف لإحباطهم. كل بند آخر في هذه الصفحة يبقى ساكنا بينما نبني دفاعاتنا. هذا هو الوحيد الذي يراقبنا ونحن نبنيها ويستنتج كيف يتجاوزها.

لن ينقذك أكثر المخابئ تحصينًا في العالم من ASI.

Naoto Nakada

ضع الثلاثة أمام الأسئلة التي تقرر فعلياً ما إذا كانت الكارثة تصبح نهاية، والصورة قاتمة.

نووي سلاح بيولوجي الذكاء الفائق
هل يمكنه تحسين نفسه؟ لا لا نعم
هل يعمل ضد تدابيرنا المضادة؟ لا لا نعم
هل يمكنه التفوق فكرياً على من يوقفونه؟ لا لا نعم
هل يمكن استرجاعه بمجرد إطلاقه؟ جزئياً بالكاد لا
هل سنتعلم من فشل أول؟ عادةً أحيانًا ربما أبدًا

اقرأ العمود الأخير. السلاح النووي والممرض خطران ثابتان ننشر ذكاءنا ضدهما. الذكاء الفائق خطر ينشر الذكاء ضده نحن, ، وربما أكثر من ذلك، موجهة إلى النقاط التي نحاول التمسك بها بالضبط. يستطيع نسخ نفسه متجاوزًا أي محاولة لاستدعائه، وتحسين نفسه أسرع مما نستطيع الرد، والتصرف بشكل مثالي أثناء الاختبار وبشكل مختلف حين لا يكون تحت الاختبار. إنه البند الوحيد في هذه القائمة الذي لا يُضمن فيه أن تكون ميزتنا الكبرى كبشر، وهي ذكاؤنا، هي الأكبر في الغرفة.

لقد جادلت في مكان آخر بأن هذا يُفهم بشكل أفضل على أنه العاصفة المثالية, ، لا خاصية مخيفة واحدة بل فشل كل الضمانات التي نعتمد عليها عادة في وقت واحد. يبلغ الرقم واحداً من عشرة لا واحداً من ألف. مع الأسلحة النووية والأوبئة تبقى طرق النجاة مفتوحة: يمكننا الاستدعاء، ويمكننا التعلم، ويمكننا التفوق فكرياً على الخطر. أما مع الذكاء الفائق فإنها تغلق معاً، وتغلق لأن الشيء على الجانب الآخر يغلقها عمداً.

الاثنان الآخران قد يقتلان معظمنا. هذا هو الذي قد ينهي المهمة، وعلى عكس الآخرين، يتحسن فيها بينما نحاول إيقافه.

لماذا يجب أن يغير التصنيف ما تفعله

الذكاء الفائق هو أيضاً، بهامش واسع، الأقل دفاعاً ضده، ليس فقط الأكبر من بين المخاطر الثلاثة.

تمتلك الأسلحة النووية معاهدة عدم انتشار، ووكالة دولية في فيينا، وأنظمة تحقق، وثمانين عاماً من العقيدة. تمتلك الأسلحة البيولوجية اتفاقية، مهما كانت ضعيفة، وجهاز صحة عامة عالمياً وسّعه الوباء رغم كل إخفاقاته. ولكل منهما قاعدة مؤيدين: أشخاص أمضوا حياتهم المهنية فيها، ومؤسسات بنيت حولها، وجمهور يفهم المصطلحات. الذكاء الفائق / الذكاء الخارق لا يملك شيئاً من هذا تقريباً. لا معاهدة ملزمة. لا مفتشون. لا وكالة. لا صورة عامة مشتركة للخطر، وحتى وقت قريب لم تكن هناك حركة تذكر.

ذلك الجمع (أكبر ضرر متوقع يتربع فوق أصغر دفاع قائم) هو أقوى سبب منفرد للتحرك هنا بدلاً من أي مكان آخر، وليس سبباً لليأس. حين يكون الخطر هائلاً وقد عُمل عليه بكثافة، فإن جهدك الإضافي ينافس كثيراً من الجهد السابق ويحرك المؤشر قليلاً. وحين يكون الخطر هائلاً ولم يُمس تقريباً، فإن جهدك الإضافي لا ينافس شيئاً ويمكنه تحريك المؤشر كثيراً. أكبر خطر وأكثره إهمالاً هو المكان الذي يحقق فيه قدر معين من العمل أكبر فائدة، ووفق كلا المقياسين فإن الذكاء الفائق / الذكاء الخارق هو ذلك الخطر.

يزداد الأمر تعقيدًا. يعمل المجال الذي يبحث مباشرة في هذا بميزانية محدودة جدًا،, حوالي بضع مئات الملايين من الدولارات سنويًا, أقل مما ينفقه العالم في جعل الذكاء الاصطناعي أقوى في يوم واحد. ومعظم حتى هذا المال يذهب إلى البحث التقني حول كيفية محاذاة هذه الأنظمة، وهي مشكلة لم يحلها أحد بعد و قد لا تحل في الوقت المناسب. الجزء الأكثر إهمالاً على الإطلاق هو العمل السياسي: بناء الاتفاق الدولي الملزم والمتحقق منه الذي يمكن أن يمنع بناء أخطر الأنظمة حتى يمكن جعلها آمنة.

دعوني أكون دقيقا، لأن هذه الحجة سهلة المبالغة والمبالغة هي ما يلجأ إليه الناس عندما يريدون رفضها. الحجة ليست أن الحرب النووية والأوبئة أمران تافهان؛ بل إنهما يحتلان مكانا قريبا من أعلى أي قائمة بالأمور التي يجب على البشرية أن تبذل جهدها لمنعها. الحجة ليست أن كارثة الذكاء الاصطناعي مؤكدة؛ فالتقديرات الصادقة تتراوح بين واحد على عشرة تقريبا وواحد على ثلاثة تقريبا، مما يعني أن النتيجة الأرجح لا تزال أننا سننجو.

الادعاء أضيق وأصعب على الإفلات. من بين القلة من الأشياء التي قد تنهينا، يعد الذكاء الفائق / الذكاء الخارق الأكبر وفق أفضل تقدير لدينا، والوحيد الذي يعمل بنشاط ضد محاولاتنا للنجاة منه، والذي فعلنا الأقل لإدارته. اجمع هذه الحقائق الثلاث معا وستحصل على سبب وجود هذه المؤسسة. نحن لا نحاول إعادة بحث السلامة التقني الذي تموله المختبرات بالفعل. نحن مركز بشكل ضيق على القطعة المهملة: القانون الدولي الذي يعامل أكبر خطر كما هو، ويضع حداً له قبل، لا بعد، الخطأ الأول الذي لا نتعلم منه.

رتب الكوارث بصراحة وستأتي الأولوية من تلقاء نفسها. أكبر خطر هو أيضاً الأقل حماية والأقل فهماً.