P(doom) ليس مصطلحاً فنياً من ورقة رسمية. ظهر في نقاشات سلامة الذكاء الاصطناعي على الإنترنت كاختصار لتقدير احتمالي لم يكن معظم الباحثين قبل عام ٢٠٢٠ يربطون به رقماً أصلاً. والاستعداد لقياسه كمياً (أي التعامل مع خطر الذكاء الاصطناعي الكارثي كاحتمال يُقدَّر لا كإمكانية يُشار إليها بغموض) هو أحد التحولات المهمة في طريقة تفكير من يعملون أقرب إلى تطوير الذكاء الاصطناعي في المشكلة.
تتراوح التقديرات من بضعة في المئة إلى أكثر من خمسين في المئة، بحسب الباحث وتقييمه لصعوبة المحاذاة وسرعة الحوكمة. وهذا ما يخبرنا به النطاق، ولماذا تستدعي حتى الاحتمالات المنخفضة اهتمامًا جادًا.
إن "الكارثة" في P(doom) غير محددة عمدا. يستخدمها باحثون مختلفون لتعني انقراض البشر، أو الفقدان الدائم لاستقلالية الإنسان، أو التركيز الدائم للسلطة في فاعل واحد، أو بعض الكوارث الحضارية الأخرى. يُعترف بهذا الغموض؛ والغرض من المصطلح هو إجبار التفكير الكمي الصريح حول الخطر بدلا من الاعتماد على الحدس حول ما إذا كان "حقيقيا" أو "تخمينيا".
كيف تبدو التقديرات
التباين بين هؤلاء الباحثين لافت. يفصل بين هينتون ويودكوفسكي عشرات النقاط المئوية. أنتج التحليل الرسمي لكارلسميث نطاقًا واسعًا بدلًا من تقدير نقطي، مما يعكس الشك الحقيقي في كل خطوة وسيطة. وما تشترك فيه التقديرات أنها غير تافهة، فلم يصل أي من الباحثين المهتمين بالسلامة الذين تناولوا المشكلة بجدية ووضعوا رقمًا عليها إلى أقل من حوالي ٥٪.
حدد وجهة نظرك الخاصة حول كل نقطة أساسية أدناه وشاهدها تتضاعف لتصبح تقديراً واحداً.
لماذا يوجد النطاق الواسع
P(doom) كرقم هو ناتج عدة أسئلة وسيطة غير مؤكدة مضروبة معا. ما سرعة تقدم قدرات الذكاء الاصطناعي؟ ما مدى صعوبة مشكلة المحاذاة عند مستويات القدرة التي تتجاوز ما اختبرناه؟ ما احتمال أن يسبب الذكاء الاصطناعي غير المحاذى عند مستوى قدرة معين ضررا كارثيا بدلا من ضرر محصور؟ ما احتمال أن تستجيب الحوكمة بفعالية قبل الوصول إلى عتبة القدرة الحرجة؟
يحمل باحثون مختلفون توزيعات مختلفة حول هذه الأسئلة، وتتراكم التقديرات. الباحث الذي يرى أن مشكلة المحاذاة قابلة للحل، وأن القدرات ستتقدم ببطء نسبي، وأن الحوكمة ستستجيب في الوقت المناسب، سينتج تقديرا إجماليا أقل بكثير ممن يعتقد العكس في كل سؤال. يعكس النطاق الواسع الشك الحقيقي حول كل عامل، لا خلافا سيحله فحص الأدلة نفسها بعناية أكبر.
حجة القيمة المتوقعة
رد شائع على تقديرات P(doom) غير التافهة: "حتى ١٠٪ تبدو منخفضة جداً لإعادة هيكلة المجتمع حولها." يعتمد الرد على فشل في التفكير بالقيمة المتوقعة لن يُقبل في سياقات مخاطر أخرى.
يقدر الاحتمال السنوي لحدوث جائحة كبرى قادرة على قتل الملايين بأقل من ١٪ في أي سنة معينة، ومع ذلك تحظى الاستعدادات للجوائح باستثمارات عالمية كبيرة واهتمام سياسي. أما احتمال الوفاة بحادث سيارة مدى الحياة في US فيبلغ نحو ١٪، ويعد تنظيم سلامة الطرق أمرا طبيعيا تماما. إن القول إن احتمالا بنسبة ١٠٪ (أو حتى ٥٪) لحدوث كارثة حضارية لا يستدعي استثمارا وقائيا جادا ليس تطبيقا متسقا لطريقة تعاملنا مع المخاطر في المجالات الأخرى.
القيمة المتوقعة هي الاحتمال مضروبًا في الحجم. فبالنسبة للمخاطر التي لا رجعة فيها والتي تكون على مستوى حضاري (حيث لا يوجد تعافٍ من النتيجة السيئة، والنتيجة السيئة تُغلق كل قيمة مستقبلية)، تظل القيمة المتوقعة للاحتياط كبيرة جدًا حتى عند احتمالات تقل كثيرًا عن عشرة في المئة. فاحتمال بنسبة واحد في المئة لخسارة كل شيء يمثل مشكلة تكلفتها المتوقعة واحد في المئة من كل شيء، وهو رقم هائل عند قياسه على مقياس ما يحتويه المستقبل البعيد، وليس مشكلة بنسبة واحد في المئة.
ما الذي سيخفض P(doom)
الباحثون الذين يعبرون عن تقديرات P(doom) عالية يشخصون أين يجب أن يحدث العمل الأكثر أهمية، وليسوا مستسلمين لنتائج سيئة. العوامل التي من شأنها خفض P(doom) عبر تقديرات معظم الباحثين مفهومة جيداً: التقدم المثبت على أدوات قابلية التفسير قادر على التحقق من المحاذاة في الأنظمة المتقدمة؛ ومناهج الرقابة القابلة للتوسع التي تصمد عند مستويات قدرة تفوق الخبراء البشر؛ وأطر حوكمة دولية ملزمة ذات إنفاذ حقيقي؛ وتطوير القدرات بوتيرة أبطأ من بحوث المحاذاة حتى تُرسى السلامة قبل بلوغ مستويات القدرة الخطرة.
لهذا السبب تركز المؤسسة على أطر الحوكمة وأبحاث المحاذاة كالرافعات الرئيسية، بدلاً من تجاهل الخطر أو اعتبار تقدير معين لـP(doom) الإجابة الرسمية. إن عدم اليقين في P(doom) ليس سبباً لانتظار المزيد من المعلومات، فالنتيجة السيئة تأتي عند عتبات قدرات محددة، وليس على جدول زمني يسمح بتأجيل الاحتياط إلى أجل غير مسمى.