لم تصبح الطيران آمنة باختبار ما إذا كان كل مسمار يتحمل حمولته المقدرة. بل أصبحت آمنة بسؤال كيف تتفاعل الأجزاء، ومن يُسمح له بقيادة ماذا، وكيف تنحرف العمليات الحقيقية عن الظروف التي افترضتها حالة السلامة. وهذا الانضباط هو سلامة الأنظمة. وتشمل أدواته STPA وFRAM وSTECA، وهي طرق تفرضها الصناعات المنظمة بالفعل.
لم تستورد أبحاث سلامة الذكاء الاصطناعي هذه الأفكار في الغالب. ورقة بحثية في 2026 تفعل ذلك.
لوكا كارلوتشي، وجيمس فيلينغهام، وروبرت والپول، وبارتووميي كريس يطبقون تلك الطرق الثلاث على عميل ترميز متقدم في بيئة إنتاج واقعية (مختبر، عميل مؤسسي، مطورون) في "نهج التفكير النظمي لمخاطر فقدان السيطرة من الذكاء الاصطناعي المتقدم" (arXiv:2606.13474; ورشة عمل حوكمة ASI التقنية لـICML 2026). يكتشفون ثلاثة مخاطر لم تُصمم اختبارات النماذج العادية للكشف عنها أبداً.
الطرق الثلاث، بلغة بسيطة
السيناريو الذي استخدموه
طبقوا الطرق الثلاث كلها على وكيل ترميز متقدم في أعمال برمجية إنتاجية: طويلة الأفق، تستخدم الأدوات، مع قواعد برمجية حقيقية وخدمات خارجية، تحت إشراف مختبر وعملاء مؤسسات ومطورين. هكذا تشحن هذه الأنظمة بالفعل. خطر فقدان السيطرة على مستوى الأنظمة لا يزال بالكاد محللاً.
ثلاث نتائج تفوتها تقييمات النماذج
في إعدادهم، يضع المختبر التزامات السلامة، ويكتب قواعد الاستخدام، ويراقب الانتهاكات. لا يستطيع المنظمون والعملاء والمدققون التحقق المستقل من العمليات. الإبلاغ الذاتي هو حلقة التغذية الراجعة الرئيسية.
يشير STECA إلى ذلك كبنية تحكم معطوبة. لا ينجح إجراء التحكم إلا إذا أمكن لشخص ما أن يرى ما إذا كان قد أصاب هدفه. عندما يكون الطرف المسؤول عن السلامة هو أيضاً المصدر الرئيسي للبرهان على أن السلامة قائمة، تكون الحلقة مخترقة. تلك حقيقة تصميمية، وليست ادعاءً بأن أي مختبر بعينه غير صادق.
يرسم تحليل شجرة الأحداث والعواقب الفجوة بين تصرف الوكيل ومعرفة الإنسان بهذا التصرف. وفي التشغيل متعدد الخطوات والآني غالباً ما يكون الوكيل قد استدعى أداة أو كتب شفرة أو دفع تغييراً قبل أن يرى المراجع التنبيه.
تسمي الطيران ذلك الخروج من الحلقة. تبقى السلطة الرسمية لإيقاف النظام على الورق. أما السلطة الوظيفية فلا تواكب. هذا ما قد يبدو عليه الإشراف الآني على وكلاء البرمجة المتقدمين اليوم.
يركز FRAM على التباين العادي. تُضبط الضمانات حسب شكل النظام عند النشر. ثم تتغير المطالبات، ويتغير مزيج المهام، وتتراكم الحالات الحدية، وينحرف التوزيع الحي بعيداً عن العينة المستخدمة عند الإطلاق.
لا شيء يثير الإنذار. لا تزال الضمانات تفعل بالضبط ما صُممت لفعله ضد ظروف الأمس. تتسع الفجوة بهدوء حتى تصطدم حالة جديدة بقاعدة لم تعد تناسب.
ما يعنيه ذلك للحوكمة
تسأل اختبارات النماذج عما يفعله النظام عند المدخلات. ولا ترسم بنية السيطرة حوله، ولا من يُسأل عن ماذا، أو كيف تنحرف العمليات بعد الإصدار. تبقى درجات القدرات والفرق الحمراء ضرورية. إلا أنها غير كافية.
طلب الورقة بسيط: الجمع بين تحليل المخاطر على مستوى النموذج وتحليل المخاطر على مستوى الأنظمة كجزء إلزامي من تقييم السلامة. وتُعد STPA وFRAM وSTECA بداية ملموسة. وعند التوسع من وكيل برمجة واحد إلى اقتصاد كامل، فإن النقطة العمياء نفسها هي ما يجعل الإضعاف التدريجي من الصعب رؤيته حتى وقت متأخر.
بالنسبة للمؤسسة، يقع الدرس على التصميم، لا على ورقة واحدة. يوجد الفحص المستقل، وقواعد الحوسبة، والتحقق الخارجي حتى لا تعتمد السلامة على مختبر يبلغ عن نفسه. ولهذا يركز خطتنا على حدود ملزمة وتحقق, ، لا التقييم الذاتي الطوعي وحده. اقرأ الورقة إذا أردت تفاصيل الطريقة الكاملة: arXiv:2606.13474. ثم طبق النتيجة في القانون والمؤسسات، لا فقط في اقتباس ورشة عمل.