عندما يقول الناس «مخاطر الذكاء الاصطناعي»، غالبًا ما يخلطون بين ثلاثة أمور مختلفة: الأضرار العادية التي تحدث الآن، والكوارث الكبرى التي تبقي الحضارة قائمة، والنتائج التي تنهي قصة البشرية أو تغلق عليها أبواب السيطرة إلى الأبد. وتتناول هذه الصفحة الصنف الثالث: الخطر الوجودي الناجم عن الذكاء الفائق. ولا تحتاج إلى خلفية بحثية. تحتاج إلى الخريطة.
الوجودي ليس مجرد "سيء جدا"
يمكن لخطر الكارثة أن يقتل الملايين ويترك مع ذلك مستقبلاً بشرياً. أما الخطر الوجودي فيعني الانقراض، أو فقدان التمكين الدائم الذي يجعل استعادة السيطرة البشرية ذات المعنى مستحيلة. أحياناً يطمس الترويج تلك الطبقات عمداً. أبقها منفصلة. السياسات التي تعالج فقط روبوتات الدردشة والتحيز لن تلامس قمة الجدول.
لماذا الذكاء الاصطناعي مختلف
لا تضع الكويكبات والبراكين استراتيجيات. مسببات الأمراض المصممة فظيعة ولا تزال في الغالب أدوات في أيدي البشر. الذكاء الاصطناعي المتقدم هو أول تقنية يمكنها أن تصبح فاعلاً استراتيجياً: تحديد الأهداف ومتابعتها، والعمل بسرعة الآلة، والتوسع عبر الشبكات، وفي النهاية تحسين نفسها. هذا المزيج هو السبب في أن الذكاء الفائق يقف في صف خاص به. انظر ما هو ASI و مشكلة التحكم.
كيف تصل النتائج الوجودية
تتداخل المسارات في الحياة الواقعية. تسميتها تمنع انهيار الحوار إلى فيلم واحد.
فقدان السيطرة. نظام يسعى لتحقيق أهداف لم نحددها بالكامل ويقاوم التصحيح. ديناميكيات السباق. تتنافس المختبرات والدول على تقليص معايير السلامة. سوء الاستخدام. يمتلك البشر قدرة متطرفة ضد البشر الآخرين. الإضعاف التدريجي. المؤسسات تحافظ على أشكالها بينما تنتقل القرارات إلى أنظمة لا يمكن لأحد تجاوزها. الانتشار. تنتشر الأنظمة العامة الخطرة إلى ما بعد أي مفتاح إيقاف واحد.
تفاصيل كل مسار موجودة في سيناريوهات الاستيلاء.
أفكار تقنية بلغة بسيطة
الأرثوغونالية: يمكن أن ينفصل الذكاء والأهداف؛ الذكاء لا يعني اللطف. التقارب الآلي: تشترك العديد من الأهداف النهائية في أهداف فرعية مثل الموارد والحفاظ على الذات. التوافق: جعل النظام يسعى لما نقصده فعلاً. التوافق الخادع: يبدو آمناً أثناء التدريب أو التقييم، ثم يتغير عندما يستطيع الإفلات من العقاب. لا يتطلب أي من هذه كراهية الآلة.
الاحتمالية بدون دقة مزيفة
P(doom) اختصار غير رسمي لتقدير شخص لاحتمال وقوع كارثة وجودية مدفوعة بالذكاء الاصطناعي. يختلف الخبراء، أحياناً كثيراً. يضع كثير ممن هم الأقرب إلى العمل احتمالاً غير ضئيل على وقوع كارثة خلال عقود. نسبة صغيرة من خسارة كل شيء لا تزال خسارة متوقعة كبيرة. «انتظر حتى نتأكد» قاعدة خاطئة للذيول غير القابلة للعكس.
الاعتراضات، مذكورة بإنصاف
"الجداول الزمنية غير مؤكدة؛ يجب أن نركز على الأضرار الحالية." الأضرار الحالية مهمة. وهي ليست سببًا لتجاهل ذيل ينهي مشروع وجود حاضر. يمكن أن يكون كلا الأمرين صحيحًا: حكم الإساءة القريبة وأغلق الطريق إلى الذكاء الفائق غير القابل للسيطرة.
"نحن نتكيف دائمًا." يفترض التكيف وجود الوقت والتغذية الراجعة والناجين. يمكن لأنماط فشل الذكاء الفائق أن تنفي الثلاثة جميعاً.
"هذا معادٍ للتكنولوجيا." المؤسسة تؤيد الذكاء الاصطناعي الضيق الذي يبقى أداة: الطب، العلوم، اللوجستيات. الخط الفاصل هو العقل العام السيادي. انظر مستقبل بدون ASI.
"سيسيطر عليه أحدهم." لا أحد يسيطر على الذكاء الفائق بمعنى القيادة البشرية الدائمة على نظام يعمل أذكى من مشغليه. السيطرة على قرار البناء لا تزال ممكنة، ولهذا يهم الحظر الملزم.
ما الذي يقلل من المخاطر (وما الذي لا يفعل ذلك)
يساعد: حدود ملزمة على التدريب الحدودي الموجه نحو ASI، وحوكمة الحوسبة، والتقييم المستقل، ومؤسسات التحقق، والضغط السياسي، واللغة العامة الواضحة. يعيد ترتيب كراسي السفينة: تدريب على الأخلاق يُباع كحل للمحاذاة، وتعهدات طوعية بلا عضة خارجية، وصور قمم بلا عتبات رقمية.
الوكالة بعد خريطة مظلمة
هذا الموضوع مظلم لأن الرهانات مظلمة. الخوف بلا مسار يرتد عكسيًا. المسار ملموس: عامل الذكاء الفائق / الذكاء الخارق مثل الفئات الأخرى عالية الخطورة المحظورة، وابنِ قواعد قابلة للتفتيش قبل وصول القدرة، واحتفظ بالذكاء الاصطناعي الضيق الذي يخدم الناس. ابدأ بـ خطتنا, ثم كيفية إيقاف الذكاء الفائق. إذا كنت تحمل جملة واحدة فقط: يمكننا الاحتفاظ بالأدوات القوية؛ يجب ألا نبني عقلاً لا نستطيع إبطاله.