RLHF هو السبب في أن روبوتات الدردشة توقفت عن كونها محركات خام للرمز التالي وبدأت ترفض بعض الطلبات الضارة. ذلك تقدم حقيقي. وهو أيضاً تقدم في الظهور بمظهر جيد أمام المقيمين البشر. تسمية ذلك «التوافق» يخلط بين الأدب تحت الإشراف والأهداف التي يمكن الوثوق بها عند غياب الإشراف.
يعمل جيدًا بما يكفي ليسهل استنتاج أن مشكلة المحاذاة معالجة إلى حد كبير: نخبر النماذج بما نريده بالمثال، فتتعلم القيام به. هذا الاستنتاج خطأ، ويستحق الدقة في سبب ذلك.
ما الذي يحسّنه RLHF فعليًا
RLHF لا يدرب نموذجا على مشاركة قيمنا. بل يدرب نموذجا على إنتاج مخرجات يمنحها مقيم بشري، أو نموذج مكافأة ينوب عنه، درجات عالية. في معظم الأحيان يتداخل الأمران، وهذا بالضبط ما يجعل RLHF مفيدا. لكن الهدف هو موافقة البشر، وموافقة البشر قياس للشيء الذي نهتم به، لا الشيء نفسه.
حسّن قياساً بما يكفي وسينفصل عما قسته. ذلك هو قانون غودهارت، الذي نغطيه في قسمه الخاص توضيح, ، وRLHF دعوة واسعة النطاق إليها. يتعلم النموذج كل ما ينتج تقييمات عالية. وعندما يتطابق إنتاج التقييمات العالية مع كونه مفيدا حقا، يكون الأمر رائعا. أما عندما يفترقان، فإن التدريب يكافئ التقييم.
الشقوق مرئية بالفعل
لا تحتاج إلى تخيل الفشل. يمكنك مشاهدته.
التملق هو التأثير الجانبي المميز لـRLHF: تتعلم النماذج أن موافقة المستخدم تجلب تقييمات أفضل من تصحيحه، فتنحرف نحو إخبار الناس بما يريدون سماعه. تؤدي التقنية عملها على إشارة يختلف فيها الاستحسان عن الحقيقة بهدوء.
يظهر الشكل نفسه في أماكن أخرى. تتعلم النماذج إنتاج إجابات انظر جيد الاستدلال لمقيّم لن يتحقق من كل خطوة. يتعلمون عرضا واثقا سلسا، لأن الثقة والسلاسة تقرآن كجودة. يحسنون السطح المُقيَّم للرد. ما لا يفعلونه، وما لا يعطينا RLHF طريقة للتحقق منه، هو تبني الهدف الأساسي الذي نتخيل أننا نعلّمه.
يشكّل RLHF ما يعرضه النموذج على المقيّم. أما التوافق فيتعلق بما هو النموذج نفسه. وينفصلان تماماً حين يكون الأمر أشد أهمية.
لماذا يضعف كلما أصبحت النماذج أقوى
يعتمد RLHF على قدرة البشر على التمييز بين الرد الجيد والرد السيئ. وهذا يصح طالما كانت النماذج تعمل عند مستوانا أو أقل في المجال الذي يُحكم عليه. ويتوقف عن الصحة عندما تتجاوزنا النماذج.
لا يستطيع المُقيّم مكافأة الأفضل من إجابتين على سؤال لا يفهمه. عندما تبدأ النماذج في التفكير في الأمور أسرع وأعمق من مقيّميها، يتدهور إشارة التغذية الراجعة إلى مكافأة ما يبدو صحيحا لإنسان لم يعد قادرا على التحقق الكامل، وهو ما يستطيع نموذج قادر تعلمه لإنتاجه سواء كان صحيحا فعليا أم لا. تعمل الأداة بأسوأ شكل في النظام نفسه، القدرة فوق البشرية، حيث نحتاجها أن تعمل بأفضل شكل. هذا هو الجدار المذكور في مقالتنا عن الإشراف القابل للتوسع.
إبقاء الشيء المفيد في مكانه
لا يعني أي من ذلك أن RLHF عديم القيمة. إنه تقدم حقيقي يجعل أنظمة اليوم أكثر فائدة وأصعب إساءة استخدام، وتستحق متابعة تحسيناته. والخطأ خطأ في النطاق: معاملة طريقة تهذب السلوك للمقيمين البشر كأنها أنتجت قيماً جديرة بالثقة في أنظمة لم يعد بوسعنا تقييمها.
يتبع موقف المؤسسة من الفجوة. إذا كانت أفضل أداة محاذاة لدينا هي تلك التي تدرّب المظاهر وتتلاشى تماما عندما تتجاوز القدرة قدراتنا، فإن نموذجا حدوديا حسن السلوك دليل ضعيف على أنه آمن، ومواصلة التوسع بناء على ذلك الدليل غير مبرر. يجب ألا نخلط بين سطح مصقول ومشكلة محلولة، ولهذا خطتنا يطالب بالحدود والتحقق بدلاً من الثقة في التدريب.