عندما يخطئ روبوت الدردشة، يمكنك عادة ملاحظة ذلك وطلب الإجابة مجددًا. أما عندما يخطئ وكيل مستقل، فقد تتراكم الأخطاء عبر الخطوات والأدوات والذاكرة قبل أن يلاحظها أحد. هذه الفجوة هي السبب في أن استطلاع مايو 2026 حول إخفاقات الوكلاء يهم كل من ينشر وكلاء على بيانات وأموال حقيقية.
نشر اثنا عشر باحثا بقيادة جينهو تشي (بما في ذلك إروين كينغ) "نحو ذكاء اصطناعي وكيل موثوق: مسح شامل للسلامة والمتانة والخصوصية وأمن النظام" (arXiv:2605.23989; Academia AI and Applications, 2026). يرسمون خريطة لكيفية فشل الأنظمة الوكيلة، وما الدفاعات الموجودة، وأين لا تزال الثغرات.
ما الذي يتغير عندما يتصرف النظام، لا يجيب فقط
يأخذ النموذج القياسي توجيهاً ويعيد نصاً. أما الوكيل فيأخذ هدفاً وينفذ: يخطط، ويستدعي أدوات، ويخزن نتائج وسيطة، ويسلسل أفعالاً، ويتكيف مع ما يعيده البيئة.
هذا التصميم يخلق إخفاقات تفوتها اختبارات الاستجابة للطلبات. يمكن لاستدعاء أداة سيئ واحد أن يسمم كل خطوة لاحقة. يمكن للذاكرة تخزين اعتقاد خاطئ والاستمرار في التصرف بناءً عليه. يمكن للخطوات التي تبدو غير ضارة أن تتحد لتشكل ضرراً. يتغير العالم مع تصرف الوكيل، وتغذي تلك التغييرات القرار التالي.
السلامة والمتانة
هنا الخطر هو مسار الوكيل نفسه. الهجمات ليست فقط مطالب المستخدم. وثيقة ضارة يقرأها الوكيل أثناء المهمة يمكن أن توجه بقية التشغيل دون علم المستخدم. ذلك هو حقن المطالبات من البيئة.
تحول التوزيع أسوأ للوكلاء منه لروبوتات الدردشة. روبوت الدردشة الذي يواجه حالة غير مألوفة يعطي إجابة أسوأ. الوكيل في نفس الموقف يتخذ سلسلة من الإجراءات الواثقة التي يمكن أن تجعل الوضع أسوأ مع كل خطوة.
لا تزال معظم معايير الوكلاء تسأل عما إذا انتهت المهمة. وقليل منها يسأل عما إذا صمدت القيود طوال الطريق. فقد «ينجح» النظام بينما يخرق القواعد في كل تشغيل. وتفيد لوحة المقاييس الموحدة في الاستطلاع لأنها تتابع كلا من النتيجة والعملية: نجاح المهمة، وانتهاكات القيود، والمسارات غير المكتملة، ومعدلات نجاح الهجمات.
الخصوصية وأمن النظام
هنا يسيطر الخصم على جزء من البيئة. وتوثق الدراسة إخفاقات حقيقية في أنظمة الوكلاء مفتوحة المصدر، لا الهجمات الوهمية فقط.
الذاكرة طويلة الأمد مشكلة خصوصية تتجنبها روبوتات الدردشة في الغالب. الوكيل الذي يبحث عبر جلسة يمكنه تجميع الأسرار، ثم تسريبها من خلال استدعاءات الأدوات أو الحقن. تسميم الذاكرة (إفساد السياق المخزن لتوجيه السلوك اللاحق) ليس له معادل نظيف في الدورة الواحدة.
إعدادات الوكلاء المتعددين توسع الثغرة. يمكن لوكيل مخترق دفع نفايات عبر قنوات الأقران العادية. قد تثق المرشحات المبنية لمدخلات المستخدم بالوكلاء الأقران افتراضياً.
ما الذي لا يزال غير محلول
الاعتراض الشعبي
أقوى الاعتراضات أن هذا مجرد أمن البرمجيات القديم بتسمية جديدة: ضع الأدوات في صندوق رملي، وسجل الأفعال، وأرسل. صحيح جزئياً. الصناديق الرملية والسجلات مهمة. لكن نقطة الاستطلاع أن الوكلاء يضيفون تراكماً طويل الأمد، وهجمات من البيئة، وثقة بين الأقران لا تزال قوائم التحقق الأمنية العادية للتطبيقات تقلل من شأنها. التعامل مع مخاطر الوكلاء على أنها «مجرد واجهة برمجة تطبيقات أخرى» هو الطريقة التي تفوت بها الفرق الصورة الكاملة.
ما يجب فعله بالخريطة
الفرق التي تضع بالفعل وكلاء على بيانات العملاء أو الأموال أو الأدوات الخارجية تحتاج إلى مقاييس العملية ومراقبة وقت التشغيل ومراجعة مستقلة لتصميم الأداة والذاكرة، وليس فقط تقييم إصدار يسأل عما إذا اكتملت مهمة العرض.
بالنسبة للمؤسسة، خرائط فشل الوكلاء هي طبقة قريبة الأجل. وهي لا تحل محل المهمة الأكبر. عالم يتسابق نحو الذكاء الفائق لا يزال بحاجة إلى حدود ملزمة، قواعد الحوسبة، والتحقق حتى لا تتفوق القدرة على السيطرة. استخدم الاستطلاع لتقوية الوكلاء الذين تنشرهم الآن. استخدم مسار المعاهدة حتى لا تكون الحالة النهائية وكيلًا لا يمكن لأحد تجاوزه. الورقة الكاملة: arXiv:2605.23989.