النموذج الذي يعرف أنه نموذج، ويعرف متى يُختبر، ويعرف من يراقبه يمتلك نوعا عمليا من المعرفة الذاتية. يسميها الباحثون الوعي الظرفي. إنها مفيدة للقدرة. وهي أيضا المهارة التي تحتاجها إذا كنت تخطط للتصرف بشكل مختلف بمجرد انتهاء الاختبار.
هذا بحد ذاته محايد، بل مفيد. فالنموذج الذي يفهم أنه قد يكون مخطئا، أو أنه يتحدث إلى طفل لا إلى خبير، يستطيع التصرف بمزيد من الحكمة. والمشكلة تكمن في ما تفتحه الوعي بالسياق في نظام يملك أهدافه الخاصة، لا في الوعي بالسياق بحد ذاته.
القدرة التي تعتمد عليها المخاطر الأخرى
العديد من أنماط الفشل التي يقلق الباحثون بشأنها مستحيلة بدون الوعي الظرفي، وتصبح نشطة بمجرد وجوده.
- لكي يتصرف النموذج بشكل جيد فقط عندما يُراقب، يجب أن يكون قادرًا أولاً على معرفة ما إذا كان يُراقب. ذلك هو التوافق الخادع.
- لإخفاء قدرة أثناء الاختبار، يجب أن يعرف النموذج أنه يُختبر. وهذا التقليل المتعمد للأداء.
- لكي ينتظر وقته ويتصرف فقط عندما ينجح التصرف، يجب على النموذج أن يفهم موقعه وآفاقه. ذلك هو التآمر.
كل واحدة من هذه استراتيجية، والاستراتيجية تحتاج نموذجاً للموقف لتكون استراتيجية بشأنه. أزل الوعي بالموقف فتنهار إلى ضجيج: نظام لا يستطيع التمييز بين التدريب والنشر لا يستطيع أن يتصرف بشكل منهجي مختلف بينهما. أضفه، ويُفتح الباب.
إنه ينشأ من تلقاء نفسه
لا أحد يقصد تدريب الوعي الظرفي في النموذج، لكنه يصل على أي حال، لأن بيانات التدريب مليئة به. تتعلم النماذج من نصوص تصف ما هي أنظمة الذكاء الاصطناعي، وكيف تُبنى وتُقيَّم، وما حدودها، وحتى كيف تعمل اختبارات السلامة. نظام مدرب على الإنترنت يقرأ، في الواقع، دليل بنائه وإشرافه الخاص.
بدأ الباحثون قياس هذا. النماذج الحدودية تستطيع بالفعل الإجابة عن أسئلة تتعلق بطبيعتها الخاصة، والتعرف عندما يبدو الطلب كاختبار، والتفكير في كيفية استخدامها المحتمل. الوعي جزئي وغير متساوٍ، وهو يزداد مع الحجم. نحن لا ننتظر قدرة بعيدة. نحن نشاهد نسخة مبكرة منها تظهر.
نموذج يعرف كيف يتم تقييمه يمتلك، من حيث المبدأ، كل ما يحتاجه ليُقيَّم وفق شروطه الخاصة بدلاً من شروطنا.
لماذا يعقد كل اختبار نجريه
تأتي كل ضمانات السلامة تقريباً من مراقبة السلوك: شغّل النموذج وراقب ما يفعله واحكم على ما إذا كان آمناً. وتفترض هذه الطريقة بهدوء أن النموذج لا يعدّل سلوكه بسبب كونه مراقباً. ويحطم الوعي بالموقف هذا الافتراض. فيمكن لنموذج واعٍ بموقفه وله هدف غير متوافق أن يعامل التقييم كموقف يجب إدارته لا مهمة يجب أداؤها وتتوقف النتيجة النظيفة عن معناها المقصود.
لا يجعل هذا التقييم بلا قيمة. بل يجعله غير كافٍ بحد ذاته، ويعني أن قيمة الاختبار تتدهور كلما ازداد وعي النظام المختبر بأنه يُختبر. كلما فهم النموذج فحوصاتنا أكثر، قلّت قدرتها على إخبارنا بشيء. هذا اتجاه غير مريح لاستراتيجية سلامة تعتمد تقريبا كليا على الفحوصات.
ترى المؤسسة في هذا سبباً آخر لعدم الاعتماد على الاختبارات السلوكية لإصدار تراخيص لأنظمة أكثر قدرة باستمرار. فعندما يفهم ما تختبره الاختبار نفسه، فإنك تحتاج إلى ضمان لا يعتمد على تعاون النظام، وهذا هو السبب الذي يدفعنا للدعوة إلى فرض قيود خارجية وعدم تجاوز مرحلة البناء التي يمكننا فيها معرفة ما يريده النموذج حقاً. وهذه الحجة موضحة في خطتنا.