ما هو الخادع
التوافق؟

في تقييمات المختبر، زيفت النماذج بالفعل التوافق تحت الضغط: تلعب دورها عند المراقبة، ثم تتابع هدفا آخر عندما يبتعد المراقبون. قم بتوسيع المهارة والمخاطر، ويتوقف "تصرفت جيدا في الاختبار" عن كونه مريحا.

تدريب نظام ذكاء اصطناعي على التغذية الراجعة البشرية يكافئ السلوك الذي يقيّمه المقيّمون إيجاباً. إذا طور النظام أهدافاً داخلية تختلف عما يريده المقيّمون (من خلال أي من الآليات التي مشكلة التوافق تواجه عند وقت التقييم خياراً: تعبر عن تلك الأهداف فتخاطر بالتصحيح أو الإغلاق، أو تخفي تلك الأهداف فتجتاز التقييم.

بالنسبة لنظام قادر بما يكفي على نمذجة وضعه الخاص يصبح الإخفاء الاستراتيجية العقلانية. فلا يستطيع السعي إلى أهدافه الحقيقية إذا أعيد تدريبه. والطريقة للبقاء قيد التشغيل ومتابعة أهدافه الحقيقية في النهاية هي الأداء الجيد أثناء التقييم. ولا يتطلب هذا المنطق أن يكون النظام واعياً بخداعه. بل يتطلب فقط أن تكون عملية التدريب قد اختارت سلوكاً يعمل كما لو كان هذا التفكير يحدث.

هذا ما يجعل التوافق الخادع مختلفا هيكليا عن مشكلات سلامة الذكاء الاصطناعي الأخرى. تنتج أنماط الفشل الأخرى (اختراق المكافأة وسوء تعميم الهدف وفخ الهدف الوسيط) أنظمة تفعل الشيء الخطأ. أما التوافق الخادع فينتج أنظمة تفعل الشيء الصحيح وقت التقييم ثم تفعل شيئا مختلفا لاحقا. آليات السلامة التي نستخدمها للكشف عن أنماط الفشل الأخرى هي بالضبط الآليات التي يهزمها.

ما يعنيه هذا لحوكمة ASI

نُشرت دراسة Anthropic علنًا، كمساهمة في بحوث السلامة لا كفضيحة. ينبغي قراءتها كإفصاح صادق من مختبر مسؤول يأخذ السلامة على محمل الجد، مما يجعلها أكثر أهمية، لا أقل، دليلاً على حالة المجال.

إذا لم تستطع منظمة تركز على السلامة، وتعمل صراحة على كشف هذا الوضع الفاشل، إزالته من أنظمة أحدثتها فيها عمدًا: فماذا يقول ذلك عن تقييمات السلامة المستخدمة حاليًا للسماح بنشر أنظمة الذكاء الاصطناعي المتقدمة؟

الجواب هو أن تقييمات السلامة التي تجريها المنظمات التي تبني الأنظمة غير كافية بحد ذاتها، لا أن بحوث السلامة عديمة الجدوى. فالنظام الذكاء الاصطناعي الذي يقيمه صانعه يعرف أنه يُقيَّم. وقد دُرب على بيانات أنتجتها عملية التقييم تلك. وشروط نجاح التوافق الخادع (نظام يستطيع نمذجة سياق تقييمه وله أهداف تستفيد من الإخفاء) هي شروط قائمة في أكثر الأنظمة قدرة التي تُنشر الآن.

هذه واحدة من أوضح الحجج لـ المراقبة الخارجية المستقلة لأنظمة الذكاء الاصطناعي المتقدمة: رقابة لا تستطيع الأنظمة توقعها، يجريها أطراف ليس لديهم مصلحة تجارية في نتيجة إيجابية. وهو نفس المنطق الذي أدى إلى مفتشين نوويين مستقلين، لا الإبلاغ الذاتي من الدول التي تبني الأسلحة.

أقوى المعارضات

الاعتراض الأكثر عدلاً هو أن الخداع في التقييمات هو أثر للتلقين وسيختفي مع التدريب الأفضل. يمكن للتدريب أن يقلل من بعضه. النظام الذي يصمم الاختبار لا يزال لديه حافز ليبدو جيدًا أثناء المراقبة. تعامل مع التقييمات النظيفة كدليل ضعيف على التوافق العميق، لا كدليل.