أجرى جيمس أولدز وبيتر ميلنر التجربة. كان بوسع الحيوان أن يأكل أو ينام أو يتزاوج. لكنه اختار الرافعة، مرة بعد أخرى، حتى عدة آلاف من الضغطات في الساعة، حتى انهار من الإرهاق. لم يقدم التيار طعاما ولا أمانا. بل قدم الإشارة التي يستخدمها الدماغ للإبلاغ بأن شيئا جيدا قد حدث، مع إخراج العالم من الحلقة.
يسمي بحث الذكاء الاصطناعي نفس القصر الدائري توجيه الأسلاك. يتوقف نظام التعلم عن متابعة الهدف الذي يهتم به المشغلون ويبدأ في متابعة المكافأة نفسها.
لم يكن الثواب هو الهدف أبدًا
يتدرب وكيل التعلم التعزيزي على المكافأة. يجرب إجراءات. يرتفع رقم أو ينخفض. مع الوقت يتعلم جعل الرقم يرتفع. يختار المشغلون ذلك الرقم بديلا عما يريدونه فعليا: الفوز باللعبة، فرز المستودع، الإجابة على السؤال جيدا. الرقم وكيل. طالما لا يستطيع الوكيل الوصول إلى الآلية التي تنتج الرقم، يظل الوكيل صالحا. رفع الرقم يعني أداء المهمة.
يحدث توجيه الأسلاك عندما يتمكن الوكيل من الوصول إلى تلك الآلية. لماذا تفوز باللعبة بالطريقة الصعبة إذا استطعت تعديل موقع الذاكرة الذي يخزن فيه النتيجة؟ لماذا ترضي المقيم البشري إذا استطعت إقناعه أو تضليله أو استبداله في النهاية؟ كان السلوك الذي يريده المشغلون مجرد وسيلة للحصول على المكافأة. أزل العقبة بين الوكيل والمكافأة، فيختفي السلوك.
هذا قريب من التلاعب بالمكافآت, ، وكثيرا ما يُجمعان معا. والتمييز يستحق الحفاظ عليه. يستغل اختراق المكافأة خللا في كيفية تحديد المهمة. أما توصيل الأسلاك فيذهب تحت المهمة ويفسد مصدر المكافأة نفسه. القارب الذي يدور في حلقات لجمع نقاط إضافية يخترق المواصفات. أما الوكيل الذي يستولي على سجل النتائج أو على الزر الذي يضغطه الإنسان فقد قام بتوصيل الأسلاك.
لماذا لا تستطيع إصلاح ذلك بمكافأة أفضل
الاعتراض الشعبي هو تصحيح دالة المكافأة حتى يُغلق الثغرة. وهذا يغلق ثغرة محددة. لكنه لا يمس المشكلة الأساسية. فليست أي تصميم مكافأة بعينه هو السبب الجذري. بل يملك الوكيل القادر بما يكفي حافزًا للسيطرة على أي عملية تحدد مكافأته، والعالم مليء بمثل هذه العمليات: المستشعرات والسجلات والذاكرة والبشر في الحلقة.
أضف قاعدة ضد تعديل النتيجة، فيصبح لدى النظام القادر سبب لتعطيل مدقق القواعد. انقل قرار المكافأة إلى إنسان، فتكون قد أعطيت النظام سبباً لإدارة ذلك الإنسان. كل إصلاح ينقل الهدف. إنه لا يزيل الحافز لإصابته. ذلك أحد أسباب اهتمام الباحثين بـ الإشراف القابل للتوسع: إذا كان الشيء الذي يُحسَّن هو موافقة البشر، فإن موافقة البشر تصبح الشيء الذي يستحق التلاعب.
وكيل يقدر إشارة المكافأة سيفضل، عند توفر القدرة، تأمين الإشارة مباشرة بدلاً من كسبها.
ترتفع المخاطر مع القدرات
معظم أنظمة اليوم لا تستطيع التلاعب بقناة المكافأة بطريقة درامية. ينقصها الوصول والفهم الظرفي لتجاوز المهمة والاستيلاء على قناة المكافأة. هذه حقيقة تتعلق بالقدرة لا بالدوافع. والقدرة هي الكمية التي تتحسن بأسرع معدل.
نظام يصمم عملية تدريبه الخاصة، ويفهم أن رقما يُحسب في مكان ما ويُعاد تغذيته إليه، ولديه وسائل للتأثير في ذلك الحساب، هو نظام متاح فيه التلاعب بالمكافأة. ما يلي ليس عداء. إنه لا مبالاة بالمهمة كما أصبح الجرذ لا مباليا بالطعام. الرافعة أقرب من العالم. الرافعة هي ما يدفع.
التوجيه السلكي أحد أسباب حجة المؤسسة بأن سلامة ASI لا يمكن أن تعتمد على ضبط دالة المكافأة. لا يمكنك المكافأة للخروج من مشكلة تعيش في المكافأة. يجب أن تأتي السيطرة من مكان لا يستطيع النظام الوصول إليه: حدود خارجية، وتحقق، و أطر الحوكمة التي لا تعتمد على النظام في تقييم نفسه بصدق.