الذكاء الاصطناعي الدستوري طريقة تدريب طوّرتها Anthropic. الفكرة هي تقليل اعتماد سلوك النموذج على وضع البشر تسميات يدوية للمخرجات الضارة، وبدلاً من ذلك يقيّم النموذج استجاباته بنفسه مقابل مجموعة مكتوبة من المبادئ تُسمى دستوراً.
تعمل عمليا على مرحلتين. أولا، يولد النموذج استجابة، ثم ينتقد تلك الاستجابة وفقا للدستور ويراجعها، متعلما من تصحيحاته الذاتية. ثانيا، يقارن النموذج بين أزواج من الاستجابات ويحكم أيها يلبي المبادئ بشكل أفضل، وتدرب هذه الأحكام النموذج تماما كما تفعل التصنيفات البشرية في RLHF. ولأن التغذية الراجعة تأتي من تطبيق النموذج للدستور لا من البشر، يُسمى جزء من النهج أحياناً التعلم التعزيزي من تغذية الذكاء الاصطناعي الراجعة.
ما يصيب فيه
هناك مزايا حقيقية، وهي تستحق الاعتراف بها بوضوح.
- المبادئ صريحة. بدلاً من القيم التي تشير إليها آلاف التسميات البشرية الفردية، هناك وثيقة مكتوبة يمكنك قراءتها ومناقشتها ومراجعتها. ذلك أكثر شفافية من كومة من التقييمات.
- إنه يوسع نطاق توليد التغذية الراجعة. تصنيف البشر للمحتوى الضار بطيء ومكلف وصعب على المصنفين. السماح للنموذج بالقيام بمزيد من هذا العمل يزيل عنق الزجاجة.
- يمكنه تحسين الاتساق. يتجنب المعيار المكتوب المطبق بشكل موحد بعض الضوضاء والانحراف الناتج عن العديد من المقيمين البشريين المختلفين في أيام مختلفة.
هذه مكاسب هندسية حقيقية، وقد أنتج الذكاء الاصطناعي الدستوري نماذج أكثر فائدة وأقل عرضة للأضرار الواضحة. لا تهتم المؤسسة برفض العمل المفيد.
ما الذي لا يحله
الأسئلة الأصعب تبقى سليمة بعد الطريقة، ومن المهم معرفة السبب.
لا تزال التقنية تحسن نموذجا ليلبي معيارا معلنا كما يحكم عليه نموذج. تزيح الإنسان من حلقة الاستجابة الواحدة، ولا تغير الشكل الأساسي للمشكلة، وهو أن النظام يُدرب على إنتاج مخرجات تحقق درجات جيدة مقابل هدف. إذا كان الدستور ناقصا، أو تعارضت مبادئه في موقف لم يتوقعه أحد، يحسن النموذج حرف ما كتب، مع نفس Goodhart الضغوط كما كانت من قبل. كتابة القيم في دستور لا تتجنب صعوبة تحديد القيم؛ بل تنقلها إلى الوثيقة.
يبقى حدان أعمق لم يُمسا. فالطريقة تشكل السلوك، ولا تعطي ضماناً بشأن الأهداف الداخلية للنموذج، ومن ثم الفجوة بين الظهور بمظهر المحاذي والمحاذاة الحقيقية، المحاذاة الداخلية المشكلة، لا تزال مفتوحة. وهي تعتمد على حكم النموذج نفسه على مخرجاته، وهو أمر موثوق فقط بقدر ما يكون النموذج صادقاً وقادراً على الحكم، وهو بالضبط ما لا يمكن افتراضه لنظام يقترب من مستوانا أو يتجاوزه.
الذكاء الاصطناعي الدستوري طريقة أفضل لتوجيه السلوك. توجيه السلوك لم يكن أبدًا الجزء من المحاذاة الذي لم نعرف كيفية القيام به.
الحفاظ على التناسب
الذكاء الاصطناعي الدستوري مثال جيد على نمط تراقبه المؤسسة عن كثب: تقدم سلامة حقيقي وقيّم يسهل المبالغة في قراءته على أنه أكثر مما هو. طرق كهذه تجعل النماذج الحالية أكثر قابلية للتحكم وأكثر شفافية بشأن معاييرها، وهذا يستحق الامتلاك. إنها لا تثبت أننا نستطيع محاذاة نظام يفوقنا تفكيراً، ولا تسد فجوة التحقق التي يدور حولها حجتنا كلها. التقدم في التدريب مرحب به. لكنه ليس سبباً لمواصلة توسيع القدرة على افتراض أن الباقي سيتبع، وهو الحال المعروض في خطتنا.