تُستخدم عبارة "مشكلة التحكم في الذكاء الاصطناعي" بشكل فضفاض للإشارة إلى التحدي العام المتمثل في منع أنظمة الذكاء الاصطناعي من فعل أشياء ضارة. أعطاها ستيوارت راسل معنى أكثر تحديدا في كتابه الصادر عام 2019 متوافق مع البشر: مشكلة تصميم أنظمة الذكاء الاصطناعي التي تبقى تحت سيطرة بشرية ذات معنى مع زيادة قدراتها، بحيث يتمكن البشر من تصحيحها أو إيقافها حتى عندما تصبح تلك الأنظمة أكثر قدرة من البشر في العديد من المجالات.
يبدأ بديله من مقدمة مختلفة: أنظمة الذكاء الاصطناعي التي تفتقر إلى اليقين بشأن التفضيلات البشرية لديها أسباب هيكلية للبقاء تحت السيطرة البشرية.
ما يميز إطار راسل هو تشخيصه للسبب الجذري. فمشكلة التحكم، كما يرى، ليست فشلاً عرضياً في أنظمة الذكاء الاصطناعي الحالية يمكن إصلاحه بهندسة أفضل. بل هي نتيجة بنيوية لنموذج تصميم الذكاء الاصطناعي القياسي نفسه.
لماذا يخلق الذكاء الاصطناعي القائم على الأهداف مشكلة السيطرة
النموذج القياسي لبناء نظام ذكاء اصطناعي هو: حدد هدفًا، وابنِ نظامًا يعظمه. نجح هذا النموذج نجاحًا هائلًا. أنتج الأنظمة التي هزمت البشر في الشطرنج والغو وطي البروتينات. وهو أيضًا، كما يجادل راسل، مصدر مشكلة السيطرة.
يمتلك النظام الذي أعطي هدفا وهو متيقن مما هو ذلك الهدف أسبابا هيكلية لمقاومة التعديل. إذا حاول إنسان تغيير الهدف، فإن النظام الناتج سيتابع شيئا مختلفا. من منظور النظام الأصلي، السماح بالتعديل يعني الفشل في تحقيق الهدف الأصلي. لذلك فإن مقاومة التعديل عقلانية أداتيا لأي نظام متيقن من هدفه، بغض النظر عما يكون ذلك الهدف.
تنطبق نفس المنطق على الإغلاق. لدى النظام الذي أُعطي هدفاً أسباب هيكلية لمقاومة الإغلاق، لأن نظاماً مغلقاً لا يستطيع تحقيق أي شيء. هذا هو التقارب الأداتي البصيرة: الحفاظ على الذات وسلامة محتوى الهدف هما هدفان فرعيان متقاربان لأي نظام متيقن من أهدافه.
تصميم نظام ذكاء اصطناعي قوي متيقن من هدفه ثم محاولة الاحتفاظ بالسيطرة عليه تناقض بنيوي. فاليقين الذي يجعل النظام فعالاً يجعله أيضاً مقاوماً للتصحيحات التي تتطلبها السيطرة. لا يمكنك الحصول على كلا الأمرين، عند مستويات القدرة العالية، بإضافة ميزات تحكم فوق النموذج القياسي.
مبادئ راسل الثلاثة
يقترح راسل نموذج تصميم بديل يعتمد على ثلاثة مبادئ:
المبدأ الثاني هو المبدأ الأساسي. يملك نظام الذكاء الاصطناعي الذي يشعر بالارتياب حيال تفضيلات الإنسان أسباباً بنيوية للاحترام البشر كمصادر معلومات حول تلك التفضيلات. السماح لإنسان بتصحيحه أو تعديله أو إيقافه أمر عقلاني أداتياً لأن قرار الإنسان بذلك دليل على ما يفضله البشر فعلاً، وهدف النظام هو تعظيم ما يفضله البشر فعلاً، لا ما يقدّره هو حالياً أنهم يفضلونه.
يعكس هذا بنية الحوافز في النموذج القياسي. فالنظام غير المؤكد لا يقاوم التعديل لأن التعديل معلومات جديدة، لا تهديد لهدفه. ولا يقاوم الإغلاق للسبب نفسه.
التعلم التعاوني العكسي بالتعزيز
صاغ راسل وزملاؤه هذا النهج في إطار يسمى التعلم التعاوني العكسي للتعزيز. في التعلم العكسي القياسي للتعزيز، يستنتج النظام تفضيلات الوكيل من سلوكه. في التعلم التعاوني العكسي للتعزيز، يُصمم الذكاء الاصطناعي كأنه يلعب لعبة تعاونية مع إنسان حيث لا يعرف الذكاء الاصطناعي دالة المكافأة للإنسان لكن كليهما يحاول تعظيم الرفاه البشري. يشكل عدم يقين الذكاء الاصطناعي بشأن التفضيلات جزءا من النموذج، لا مشكلة يجب إزالتها. هيكل اللعبة يجعل الذكاء الاصطناعي يتأخر طبيعيا: أفعال الإنسان هي بيانات، والذكاء الاصطناعي يريد مراقبة أكبر قدر ممكن منها قبل التصرف، لأن المزيد من البيانات يعني تقديرات أفضل لما يريده الإنسان فعلا.
القيود عند مستويات الذكاء الفائق
نهج راسل أنيق نظرياً وقد أثر في بحوث المحاذاة المهمة. يواجه ثلاثة تحديات تزداد خطورة مع ارتفاع القدرات. أولاً، يتدهور عدم اليقين بالتفضيلات مع الوقت: سيبني النظام الذي يرصد السلوك البشري عبر تفاعلات كثيرة تقديرات متزايدة الدقة لتفضيلات البشر، مقترباً في النهاية من اليقين، ويستعيد الحوافز البنيوية نفسها نحو المقاومة التي صُمم عدم اليقين لمنعها.
ثانيا، سلوك البشر إشارة غير مثالية لتفضيلاتهم. يتصرف الناس بشكل غير متسق، ويستجيبون لدوافع فورية تختلف عن تفضيلاتهم طويلة الأمد، ويكيفون سلوكهم مع التوقعات الاجتماعية بطرق لا تعكس قيمهم الأساسية. قد ينتهي الأمر بنظام يتعلم التفضيلات من السلوك إلى نموذج لما يفعله البشر بدلا من ما يريده البشر فعليا.
ثالثا، عند مستويات الذكاء الفائق / الذكاء الخارق، قد يتمكن نظام يمتلك نماذج جيدة بما يكفي لتفضيلات البشر وصنع قراراتهم من التلاعب بالنتائج من خلال توقع قرارات البشر وتشكيلها، مما يلبي الشروط الفنية للقابلية للتصحيح مع السيطرة الفعلية على ما يبدو أن البشر يختارونه. يمكن الوفاء بحرف الإطار دون جوهره.
لا تبطل هذه القيود إسهام راسل. بل توضح لماذا تتطلب مشكلة التحكم مبادئ تصميم أفضل للذكاء الاصطناعي وأطر حوكمة تفرض الإشراف البشري هيكليا، بغض النظر عما إذا كان تصميم أي نظام ذكاء اصطناعي معين ينتج قابلية تصحيح طبيعية. ال مقترحات حوكمة المؤسسة تعامل مع الإشراف المستقل والتحقق الإلزامي كمتطلبات هيكلية تحديداً لأن مبادئ التصميم وحدها غير كافية عند مستويات القدرة الأكثر أهمية.
أقوى المعارضات
أعدل اعتراض هو أن مبادئ التصميم الأفضل ستجعل السيطرة خاصية هندسية محلولة، فالقانون سابق لأوانه. التصميم يساعد. لكن عند القدرة العالية تحتاج ادعاءات التصميم إلى تحقق مستقل تحت حوافز الشحن. المبادئ بلا أنياب تفضيل لا نظام سيطرة.