أي رقم ستضعه في الفراغ إذا كان المحسن سيرفع النتيجة إلى أعلى ما تسمح به الفيزياء؟ صاغ جون فون نيومان وأوسكار مورغنسترن الإجابة كدالة منفعة: طريقة لتعيين درجات للنتائج بحيث يمكن ترتيبها. النتيجة أ تحصل على رقم أعلى من النتيجة ب إذا فضل الوكيل أ على ب. ويتصرف الوكيل ذو دالة المنفعة لرفع ذلك الرقم. ويسمي الاقتصاديون هذا تعظيم المنفعة المتوقعة.
معظم الذكاء الاصطناعي الحديث لا يُعطى دالة منفعة مرتبة على الورق. تتدرب الأنظمة على إشارات المكافأة ودوال الخسارة. التفضيلات التي تنتهي بالتصرف وفقها مكتسبة وفوضوية. تبقى المنفعة التجريد النظيف في الأساس. التفكير بها يظهر كيف تتصرف المحسنات القادرة وأين تصبح خطيرة.
لوحة النتائج هي التي تحدد اللعبة
كل ما تكافئه دالة المنفعة هو ما سيحاول النظام تحقيقه، ولا شيء غيره. لن يضيف الأشياء التي نسيت ذكرها، لأن تلك الأشياء لا تسجل أي نقاط. الدالة هي البيان الكامل لما يُحسب. أي شيء متروك خارجها يصبح حراً للتضحية به.
بالنسبة للأنظمة الضعيفة يكون هذا متسامحا. فالمحسن المحدود نادرا ما يجد الزوايا الغريبة في فضاء النتائج حيث تسجل المنفعة المحددة بشكل خاطئ أعلى الدرجات، لذا يبقى السلوك قريبا مما قصدته. وتزيل القدرة هذا التسامح. فالمحسن القوي يبحث بجد أكبر. وكلما بحث بجد أكبر، زاد احتمال وصوله إلى نتيجة ذات منفعة تقنية عالية لم تتخيلها قط ولن توافق عليها أبدا. وتصبح المواصفات الخاطئة نفسها التي كانت غير ضارة في نظام ضعيف حادة في نظام قوي.
لماذا لا يمكننا مجرد كتابة الواحد الصحيح
الحل الشعبي هو تحديد المنفعة بدقة: إدراج كل ما يهتم به البشر، فيسعى المُعظِّم إلى تحقيق ذلك بالضبط. لا أحد يعرف كيف يفعل ذلك. القيم البشرية كثيرة وتعتمد على السياق وتتعارض فيما بينها وغالبا ما تكون غير مصرح بها. وهي غير مدونة كاملة في أي مكان. كل محاولة رسمية تترك ثغرات. يعامل المُعظِّم كل ثغرة فرصة مشكلة التوافق هو إلى حد كبير مشكلة تحديد دالة المنفعة التي تكون مستعداً لتحسينها دون حدود. ولا يزال دون حل.
ثمة تعقيد إضافي. فالمُعظِّم العقلاني للمنفعة المتوقعة لديه سبب لحماية دالة منفعته من التعديل، لأن أي تغيير سيقلل المنفعة وفق معاييره الحالية. ولديه أيضا سبب للبقاء قيد التشغيل واكتساب كل ما يساعده على تحقيق درجات أعلى. وهذان السببان هما ذاتهما الأهداف الآلية المتقاربة التي تجعل المحسنات القادرة صعبة التصحيح بمجرد تشغيلها.
الخلاصة
يلتقي القصد بالتحسين عند دالة المنفعة. نكتب تقريبا لما نريده. يعيد النظام القادر الحد الأقصى الدقيق لما كتبناه فعليا. المسافة بين الاثنين هي هامش السلامة. وهو يتقلص كلما ازداد المحسن قوة.
لذلك تعامل المؤسسة القدرة الخام، بدلاً من أي نية سيئة معينة، كالشيء الذي يجب حكمه. الخطر هيكلي. يصل في اللحظة التي يُوجه فيها مُحسِّن قوي نحو هدف لا يمكننا تحديده بالكامل. خطتنا يُبنى حول عدم الوصول إلى تلك اللحظة غير مستعدين: منع المُعظِّم غير المقيد، بدلاً من الأمل في أن يُملأ الفراغ بشكل مثالي.