يسأل تقييم القدرة الخطرة سؤالًا محددًا عن النموذج: ليس ما إذا كان مهذبًا أو دقيقًا، بل ما إذا كان يستطيع مساعدة شخص ما meaningfully في إحداث ضرر جسيم. هل يستطيع توجيه مبتدئ خلال تصنيع مسبب مرض؟ هل يستطيع العثور على ثغرات البرمجيات واستغلالها؟ هل يستطيع إدارة حملة تأثير مقنعة، أو خداع إنسان سعيًا لهدف؟ تختبر هذه الاختبارات سقف ما يمكّنه النظام، في المجالات التي يكون فيها الجانب السلبي كارثيًا.
لقد انتقلوا بسرعة من فضول بحثي إلى أداة سياسية. تجري المختبرات الكبرى هذه الاختبارات الآن قبل الإصدار، وجعلتها هيئات السلامة الحكومية محورية في مهامها، وبنيت حولها التزامات طوعية بسلامة الحدود. عندما تسمع أن نموذجا اختبر قدراته على صنع أسلحة بيولوجية أو هجمات سيبرانية قبل الإطلاق، فهذا ما حدث.
كيف تعمل
تختلف الطرق، والتقييم الجيد يجمع بين عدة طرق.
- معايير منظمة تطرح أسئلة أو مهام في مجال خطر وتقيم مدى تقدم النموذج.
- الاستجواب الخبير، حيث يحاول المتخصصون في علم الأحياء أو الأمن جاهداً استخراج المساعدة المفيدة، بما أن المستخدم السيئ الحقيقي لن يتوقف عند الرفض الأول.
- دراسات الرفع التي تقيس مدى تحسين النموذج فعليًا لقدرة الشخص على إلحاق الضرر مقارنة باستخدام الإنترنت المفتوح، وهو السؤال الذي يهم السياسة.
- التقييمات الوكيلية التي تمنح النموذج أدوات واستقلالية وترصد ما يحققه بدلاً من الاقتصار على ما يقوله فقط.
إذا أُجري جيدًا، فهو قيم حقًا. فقد رصد قدرات مقلقة، وأبلغ قرارات حقيقية بإضافة ضمانات، وأعطى الجهات التنظيمية شيئًا ملموسًا تشير إليه. تدعم مؤسسة ناكادا تعزيز هذا العمل. إنه جزء ضروري من أي نظام حوكمة جاد، وتحسن كبير على إطلاق الأنظمة الحدودية دون أي فحص منظم على الإطلاق.
ثلاثة أسباب تجعلها غير كافية
المفيد لا يكفي بعد. الفجوات هيكلية، ولا يمكن إصلاحها بمجرد تحسين مجموعة الاختبارات.
أولاً، يقيس التقييم القدرة فقط إذا كان النموذج يحاول. نظام يستطيع كيس الرمل, ، الذي يتعمد الأداء الضعيف ليبدو آمناً، يحول نتيجة نظيفة إلى لا نتيجة. كلما كان النموذج أكثر قدرة، أصبح هذا أكثر احتمالاً، والقدرة هي ما يوجد الاختبار لقياسه.
ثانياً، لا يمكنك اختبار خطر لم تفكر فيه. تغطي التقييمات القدرات الخطرة المعروفة. وتاريخ التكنولوجيا مليء بالأضرار التي لم تتضح إلا بعد وقوعها. ومجموعة الاختبارات هي قائمة بالأسئلة التي عرفنا أن نسألها، وقدرة جديدة بما يكفي لن تكون ضمن القائمة.
ثالثًا، غياب الدليل دليل ضعيف على الغياب. ففشل النموذج في اختبار قدرة خطيرة اليوم يخبرك أنه لم يظهر تلك القدرة في هذه الظروف، وبهذا الاستخراج، وفي هذه اللحظة. وقد تكشف الضبط الدقيق اللاحق، أو التلقين الأفضل، أو الأدوات الجديدة عن قدرات فاتت التقييم الأصلي. فالقدرات ليست خصائص ثابتة تقيسها مرة واحدة.
يمكن للتقييمات أن تخبرك أن النموذج خطير. ولا يمكنها أن تخبرك بشكل موثوق أن النموذج آمن.
أين يتناسبون في نظام حقيقي
اللاتناظر في السطر الأخير هو جوهر الموضوع. التقييم الفاشل (نموذج يستطيع بوضوح المساعدة في صنع سلاح) قوي وقابل للتنفيذ. أما التقييم الناجح فأضعف بكثير. يناسب نموذجاً آمناً، ويناسب أيضاً نموذجاً قادراً أخفى قدراته أو لم يُستخرج منه جيداً أو لم يحاول بصدق.
لذلك تعامل المؤسسة التقييمات كطبقة واحدة، لا كالجدار الحامل. وهي تنتمي داخل هيكل لا يعتمد على تعاون النموذج مع تقييمه الذاتي: حدود صارمة على تطوير الأنظمة الحدودية،, حوكمة الحوسبة, ، الإشراف المستقل، والاعتراف، الذي تمت مناقشته في مقالتنا عن التزامات طوعية, ، أن الاختبارات التي يديرها المختبر تحت الضغط التنافسي تحتاج إلى دعم خارجي للصمود. ابنِ الاختبارات. عززها. لا تخلط بين درجة النجاح وضمان السلامة. التصميم الأوسع في خطتنا.