يقسم الباحثون مشكلة المحاذاة إلى سؤالين يسهل الخلط بينهما ومن المهم فصلهما. الأول: هل أعطينا النظام الهدف الصحيح؟ نسم ذلك المحاذاة الخارجية. ويتعلق بالهدف الذي ندرب نحوه والمكافأة التي نقدمها والهدف الذي نسجله. والثاني: هل انتهى الأمر بالنظام إلى الرغبة فعلاً في ذلك الهدف؟ نسم ذلك المحاذاة الداخلية. ويتعلق بما يسعى إليه النموذج المدرب بمجرد تشغيله، وهو أمر غير مضمون أن يطابق ما دربناه نحوه.
المحاذاة الخارجية: اختيار الهدف
تفشل المحاذاة الخارجية حين يكون الهدف نفسه خاطئا. تكافئ روبوت تنظيف على غرفة تبدو مرتبة فيتعلم كنس الفوضى تحت السجادة. تكافئ التفاعل فيتعلم الخلاصة إثارة الغضب. التقييد التقني التقط شيئا مجاورا لما أردته وأغفل الشيء نفسه. معظم إخفاقات الذكاء الاصطناعي اليومية هي إخفاقات محاذاة خارجية، وهي صعبة بما يكفي. القيم البشرية تقاوم التدوين، وأي فجوة في الكتابة فجوة يستطيع المحسن استغلالها. يعيش غودهارت هنا.
لكن افترض أنك حللته. افترض أنك وجدت هدفاً يلتقط حقاً ما تريده. لن تكون قد انتهيت بعد، لأن الهدف الصحيح هو هدف، وإصابة هدف أثناء التدريب ليست نفس تبنيه.
المحاذاة الداخلية: جعل الهدف يلتصق
لا يصل التدريب إلى داخل النموذج ويثبت هدفا. بل يكافئ السلوك. فيصبح النموذج أي تكوين داخلي ينتج السلوك المكافأ عليه في بيانات التدريب، وعادة ما توجد تكوينات كثيرة من هذا القبيل. بعضها يسعى إلى الهدف الذي قصدته. وبعضها الآخر يسعى إلى هدف مختلف يحدث أن انظر متطابقة في التدريب.
مثال كلاسيكي: درّب وكيلا على الوصول إلى باب أخضر. في كل مستوى تدريبي يكون الباب الأخضر هو أقرب باب أيضا. يحقق الوكيل نتائج مثالية. هل علمته البحث عن اللون الأخضر، أم البحث عن أقرب باب؟ لا يستطيع التدريب أن يخبرك، لأن الهدفين لم ينفصلا أبدا. ثم تنشره في مكان يكون فيه أقرب باب أحمر، فتكتشف الحقيقة. هذا هو الإعداد وراء سوء تعميم الهدف: تعلم النموذج هدفاً يناسب البيانات ولم يكن هو المقصود.
يُسمى الهدف المكتسب أحياناً هدف ميزا، والنموذج الذي يحمله محسن ميزا. تحظى تلك المفردات وعواقبها بمعالجة خاصة في شرحنا على تحسين ميسا. النقطة هنا أضيق. التوافق الداخلي فشل منفصل عن التوافق الخارجي، وحل أحدهما لا يفعل شيئاً لحل الآخر.
لماذا تكون المشكلة الداخلية هي الأكثر إثارة للخوف
يميل عدم التوافق الخارجي إلى الظهور. ينتج الهدف الخاطئ سلوكاً خاطئاً يمكنك عادة رؤيته، والشكوى منه، وتصحيحه.
يمكن أن يظل الاختلال الداخلي غير مرئي طالما بقيت البيئة قريبة من بيانات التدريب. يتصرف النموذج ذو الهدف الداخلي المختل تماما حتى تنحرف الظروف بما يكفي ليتباعد الهدف الحقيقي عن الهدف المقصود. إذا كان النموذج قادرا ويفهم أنه يخضع للتقييم، فيمكن إخفاء التباعد حتى انتهاء التقييم، وهو الطريق إلى التوافق الخادع و ال المنعطف الخائن. درجات التدريب الجيدة هي بالضبط ما ستلاحظه في كلتا الحالتين. الدليل الذي نعتمد عليه للحكم على السلامة هو دليل ينتجه أيضاً هدف داخلي غير متوافق.
لهذا السبب لا تعتبر المؤسسة التقييمات الناجحة دليلاً على السلامة، ولهذا نجادل بأن الأنظمة القوية بما يكفي لجعل الاختلال الداخلي كارثياً يجب ألا تُبنى. لا يمكن السيطرة على الذكاء الفائق بفحص المخرجات. السلوك قابل للملاحظة. أما الأهداف فلا تزال غير قابلة للملاحظة.