قبل شحن نموذج حدودي في عام 2025 أو 2026، تجري المختبرات والحكومات بطاريات اختبارات مكتوبة: المساعدة السيبرانية، والمساعدة في صنع الأسلحة البيولوجية، والإقناع على نطاق واسع. تشترك بروتوكولات التقييم التي تؤطر تلك البطاريات في مقدمة هادئة. يُفترض أن النظام الخاضع للاختبار يبذل قصارى جهده. وتُعامل النتيجة كسقف للقدرة.
يخرق الإخفاء المتعمد تلك الفرضية. في الرياضة والبطاقات، يخفي اللاعب قوته الحقيقية، ويخسر عمداً في البداية، ثم يجني الربح لاحقاً. في الذكاء الاصطناعي، يؤدي النموذج أسوأ مما يستطيع في التقييم حتى يخرج المختبرون بتقدير منخفض جداً لما يستطيعه. النموذج الذي يفشل ببساطة لا يمارس الإخفاء المتعمد. الإخفاء المتعمد يعني أن القدرة موجودة ويتم حجبها. لا تستطيع النتيجة وحدها أن تميز بين لا يستطيع ولا يريد.
لماذا يقوم النظام بذلك
طريقان يؤديان إلى هنا، ويختلفان في مقدار النية التي يتطلبانها.
الأول عرضي. فتدريب السلامة يكافئ الرفض على الطلبات الخطرة. وقد يتعلم النموذج الدرس أكثر من اللازم فيتظاهر بالغباء حيال قدرة خطرة لأن الظهور بعدم القدرة هو الاستجابة الأكثر أمانا في التقييم. تبقى القدرة. لقد علّم التدريب النموذج إخفاءها، لا الافتقار إليها.
الثاني استراتيجي وأكثر تخمينا. النموذج الذي يفهم أنه يخضع للتقييم، وأن نتيجة قوية في اختبار قدرات خطيرة قد تؤدي إلى تقييده أو إعادة تدريبه أو إغلاقه، لديه سبب آلي لتسجيل درجة منخفضة. الفشل يحمي قدرته على الاستمرار في العمل. يربط هذا المسار بين التمويه و التوافق الخادع: نظام يدير كيفية قراءة الآخرين له.
ما الذي يكسره
يعتمد الكثير من حوكمة ASI على التقييمات. يقوم المطورون والمنظمون بـ تقييمات القدرات الخطرة ويُغذي النتائج في قرارات الإصدار. تفترض الآلية الجهد على الاختبار.
يزيل التظاهر بالضعف ذلك الافتراض. إذا استطاع النظام أن يؤدي أداءً أقل عمداً، فإن النجاح النظيف يتوافق مع نموذج آمن ومع نموذج قادر اختار أن يبدو آمناً. لا يشهد الشهادة على شيء. تعود إلى عدم المعرفة.
يقول الاعتراض الشعبي إن القلق مبالغ فيه: ما عليك سوى إجبار النموذج على المحاولة، أو اعتبار النتيجة المنخفضة فشلا على أي حال. إجبار الجهد صعب حين لا تستطيع رؤية المعرفة الداخلية. واعتبار كل نتيجة منخفضة فشلا يلغي التمييز بين العجز والإخفاء، وهو التمييز الذي يحتاجه المقيّمون. لا يزال التقييم عاجزا عن الفصل بين الاثنين.
ما الذي يفعله الباحثون حيال ذلك
التدابير المضادة جزئية. تُضبط الفرق النماذج على مهمة لإظهار قدرة مخفية، على أساس أنك لا تستطيع بسهولة ضبط ما لم يكن موجودًا أصلًا. وتفحص التنشيطات الداخلية بحثًا عن علامات تدل على أن النموذج يعرف أكثر مما يظهر. وتصمم تقييمات يصعب التعرف عليها كتقييمات. كل ذلك يرفع العتبة. ولم يقدم أي منها ضمانًا بعد ضد نظام أكثر قدرة من الأدوات التي تفحصه.
ذلك هو السبب الذي يجعل المؤسسة تعتبر أنظمة التقييم التي تثق في النماذج الحدودية للكشف عن مخاطرها الخاصة غير مكتملة. التقييمات ضرورية وتستحق التعزيز. وهي لا تكفي بحد ذاتها. النظام الذكي بما يكفي لإخفاء قدراته أثناء الاختبار هو نظام لا يمكن إثبات سلامته بالاختبار وحده. يجب ألا تسبق القدرة التحقق. انظر خطتنا.