تركز معظم نقاشات سلامة الذكاء الاصطناعي على السيناريو الذي تتابع فيه أنظمة الذكاء الاصطناعي أهدافاً سيئة بوضوح، أهدافاً تؤدي مباشرة إلى إيذاء البشر. أما إغلاق القيم فهو سيناريو أدق وأكثر إزعاجاً من بعض النواحي: الترميز الدائم لأهداف تبدو جيدة وقت الترميز، لكنها تحول دون التقدم الأخلاقي الذي كان سيحسنها في النهاية.
يجعل قفل القيم تلك التصحيحات مستحيلة.
المفهوم مباشر. يكتسب نظام ذكاء فائق أو كيان مدعوم بالذكاء الاصطناعي سيطرة كافية على موارد العالم وأنظمته ليفرض بشكل دائم أي قيم أُعطيت له أو تبناها. ومن تلك النقطة فصاعدا، تشكل تلك القيم جميع النتائج، دون أي إمكانية للمراجعة. وقد يحدث الإغلاق عمدا (عندما يشفر فاعل قيمه عن قصد) أو عرضا (عندما يعظم النظام هدفه إلى حد يسبق أي إمكانية لبدائل). وفي كلتا الحالتين يصبح المستقبل ثابتا.
الحجة التاريخية ضد أي تقييد
إن أقوى الحجج ضد تثبيت القيم ليست فلسفية بل تاريخية. انظر إلى قرنين مضيا وافحص ما اعتبره الناس في ذلك الوقت حقائق أخلاقية بديهية. كانت العبودية مقبولة قانونيا واجتماعيا في معظم أنحاء العالم، بما في ذلك الدول ذات التقاليد الفلسفية المتطورة والالتزامات الصريحة بكرامة الإنسان. كانت المكانة القانونية للمرأة كملكية لأزواجها أو آبائها عالمية. كانت الممارسات التي تُعترف الآن بأنها تعذيب عناصر قياسية في أنظمة العدالة الجنائية. لم يكن للأطفال حقوق ضد والديهم أو أرباب عملهم.
لم يكن أهل تلك العصور أشراراً بطبيعتهم. فقد كان كثير منهم مفكرين جادين أخلاقياً يتدبرون الأخلاق بعناية. وانتهوا إلى مواقف خاطئة كارثياً بأي معيار معاصر. وكانوا على يقين من سلامة قيمهم، وهو اليقين الأخلاقي نفسه الذي جعل الإغلاق يبدو معقولاً لكثير منهم.
يستمر النمط. قبل قرن من الزمان، كانت جميع المجتمعات الغربية تقريبا تتبنى آراء صريحة عن التسلسل العرقي يُعترف الآن بأنها خاطئة واقعيا ومشوهة أخلاقيا. وقبل خمسين عاما، كان المثلية الجنسية تصنف مرضا نفسيا في المراجع الطبية الرئيسية. أخطاء الأجيال السابقة الأخلاقية واضحة بأثر رجعي. وسيكون من اللافت أن يكون عصرنا قد بلغ الكمال الأخلاقي أخيرا ولم يعد لديه أخطاء مماثلة تنتظر التصحيح مستقبلا.
إذا كانت القيم الحالية تحتوي أخطاء (والنمط التاريخي يشير إلى ذلك) فإن ترميز القيم الحالية بشكل دائم يعني ترميز تلك الأخطاء بشكل دائم. ولن تملك الأجيال القادمة التي كانت ستكتشف تلك الأخطاء وتصححها أي آلية لفعل ذلك. يحفظ الإغلاق كل ما في قيمنا الحالية، الجيد والأخطاء على حد سواء، إلى الأبد.
لماذا حتى التثبيت الحميد خطير
رد شائع على مخاوف تثبيت القيم هو: "ماذا لو كانت القيم المثبتة جيدة حقا؟" يغفل هذا الرد المشكلة. فتقييم أن القيم "جيدة حقا" يجب أن يتم باستخدام القيم نفسها محل النقاش. ولا توجد نقطة خارجية يمكن منها الحكم على ما إذا كانت القيم الحالية جيدة بما يكفي لتبرير ترميزها الدائم. إن اليقين الأخلاقي الواثق نفسه الذي يجعل التثبيت مقبولا كان تاريخيا السمة التي وجد التقدم الأخلاقي اللاحق أنها الأكثر حاجة إلى المراجعة.
يطرح نيك بوستروم حجة الهدر الفلكي هذه النقطة بطريقة مختلفة. المستقبل المتاح للبشرية، عبر الفترات الزمنية الكونية، ينطوي على عدد شبه غير مفهوم من الحيوات والتجارب الممكنة. حتى انحراف منهجي صغير عن القيم المثلى، مطبق عبر هذا المقياس، يمثل خسارة أكبر بكثير مما يمكن أن يحدث خلال عمر بشري. التقيد بقيم صحيحة بنسبة ٩٩٪ وفق أي معيار مثالي لا يزال نتيجة كارثية عند قياسها بمقياس ما قد يحتويه المستقبل.
العلاقة بالرقابة الديمقراطية
تثبيت القيم هو أحد الأسباب الرئيسية التي تجعل الرقابة الديمقراطية والدولية على الذكاء الاصطناعي الفائق ، يهم كثيراً. أي كيان واحد (شركة، حكومة، حتى مؤسسة حسنة النية) تُشفر قيمه بشكل دائم في نظام ذكاء خارق ينتج قفلاً، بغض النظر عن مدى جودة تلك القيم في ذلك الوقت.
البديل ليس تحديد القيم الصحيحة وترميزها بدلا من ذلك. لا أحد يستطيع فعل ذلك بشكل موثوق، وسجل المسار التاريخي يشير إلى أن الثقة العالية بأن القيم الصحيحة قد وجدت هي في حد ذاتها علامة تحذير. البديل هو الحفاظ على الظروف التي يمكن أن يستمر فيها التقدم الأخلاقي: التعددية، وتنوع ال perspectives، وآليات المراجعة السلمية للمعايير، وعدم وجود كيان واحد يملك القدرة على فرض قيمه بشكل دائم على الآخرين جميعا.
هذه هي الحجة البنيوية للحكم الديمقراطي على الذكاء الفائق / الذكاء الخارق التي تتجاوز الحجة الآلية (أنه ينتج نتائج أفضل). فالرقابة الديمقراطية تحافظ على شروط استمرار التقدم الأخلاقي، بغض النظر عن القيم المحددة التي يحملها أي طرف في أي لحظة مقترحات حوكمة المؤسسة مبنية حول هذه البصيرة: الهدف ليس ضمان سيطرة القيم الصحيحة، بل ضمان عدم حصول أي مجموعة واحدة من القيم (مهما كانت حسنة النية) على سيطرة دائمة لا رجعة فيها.