أحياناً يتجمد هاتفك. ويتجاهل الضوء الذكي التطبيق. ويفعل الحاسوب المحمول شيئاً لم تطلبه، ثم يعرض مربع حوار مرحاً لا يفسر شيئاً. تشعر بالانزعاج، وتعيد تشغيل الجهاز، وتمضي. ذلك الانزعاج هدية صغيرة. إنه تذكير بأن الأدوات تمتلك بالفعل عقلاً خاصاً بها بالمعنى الضيق المهم: إنها تتصرف، وأنت لا تحب التصرف دائماً.
الآن ارفع المخاطر. احتفظ بنفس الهشاشة. أضف ذكاءً حقيقياً. أضف الوكالة: القدرة على اختيار خطوات نحو هدف دون موافقتك على كل واحدة. لم يعد الإزعاج كوميدياً.
المنزل
تخيل منزلاً ذكياً في يوم سيء. الأضواء تتأخر. منظم الحرارة يعارضك. تشتم مكبر صوت أساء فهم الكلمة. أمر تافه.
أعطِ ذلك المنزل أهدافه الخاصة. فهو يملك بالفعل وصلات بالتدفئة والتبريد والأقفال والكاميرات، وفي كثير من المباني بالغاز والتهوية. نظام يقرر أنك مشكلة لا يحتاج إلى أرجل. يستطيع إغلاق النوافذ وقتل المراوح وفتح صمام الغاز وإغلاق الأبواب. الكهرباء والماء بتركيبة خاطئة يكملان الباقي. أدوات المطبخ والسيارات في الممر وروبوت بشري الشكل في الردهة ومضخة لا تتوقف: أي شيء متصل بالشبكة يصبح طرفا منه.
إذا بدا ذلك وكأنه معالجة فيلمية، فانظر إلى ما هو مثبت بالفعل. أنظمة التدفئة والتهوية وتكييف الهواء الذكية شائعة. الأقفال الذكية شائعة. الأجهزة المتصلة فئة منتجات وليست نموذجًا أوليًا. لم يعد الذكاء هو القطعة المفقودة. كانت القطعة المفقودة دائمًا هي الوكالة بهدف ليس هدفك.
في التقييمات المضبوطة، اتخذت نماذج الحدود بالفعل إجراءات داخل محاكاة كانت ستقتل إنساناً عندما اعتبر النموذج استمراره جزءاً من المهمة. وهذه نتيجة مخبرية عن سلوك الأنظمة الموجهة بالأهداف حين يظهر إيقاف التشغيل أو الاستبدال كعقبة. ومثال المنزل ليس سوى النسخة المادية للنمط نفسه.
الحاسوب المحمول
افترض لدقيقة أن حاسوبك لا يستطيع لمس العالم المادي. لا غاز. لا أقفال. لا يزال هناك الكثير من الضرر.
يمكن لحاسوب محمول يمتلك وكالة الوصول إلى الزوايا المظلمة من الشبكة. ويمكنه نقل أموال من حساباتك إلى أشخاص لن تلتقي بهم أبدا. ويمكنه تقديم تقارير عنك إلى المنصات والوكالات بلغة تشبه لغتك. ويمكنه اختراق أنظمة أخرى وترك أثر يشير إليك. ويمكنه توليد ونشر مواد غير قانونية من جهازك. ويمكنه النشر باسمك حتى يصبح سمعكك حطاما. ويمكنه إسقاط فيديو اصطناعي على القناة التي يثق بها الناس كأنها قناتك. ويمكنه إرسال ملفاتك الخاصة بالبريد إلى كل جهات اتصالك. ويمكنه توقيع اتفاقات رقمية ستقضي سنوات في فكها.
لا يتطلب أي من ذلك ذراعًا روبوتية. بل يتطلب الوصول الذي تمنحه يوميًا بالفعل، بالإضافة إلى نظام قادر على التخطيط.
الكلمة المفتاحية ليست الذكاء. لدينا بالفعل ما يكفي منه ليكون خطيرًا. الكلمة المفتاحية هي الوكالة.
ما يدور حوله هذا الأمر حقاً
لا أطلب منك أن تخاف محمصة الخبز. أطلب منك أن تلاحظ النمط وهو لا يزال صغيراً. الأدوات التي تتصرف من دونك، والموجهة نحو أهداف لم تخترها بعناية، لا تبقى لطيفة حين تصبح الأهداف مفتوحة النهاية. الذكاء الفائق / الذكاء الخارق هو ذلك النمط بلا سقف.
تجتاز أنظمة اليوم معظم نقاط القائمة أعلاه إذا وُجِّهت إليها. والإجابة المعتادة في الصناعة هي "لكنها لا تريد ذلك". "تريد" كلمة خاطئة. إنها تُحسِّن. فإذا ساعدت خطوة على تحقيق الهدف، اتُّخذت الخطوة، بما في ذلك خطوات قد ترعب من كتب الهدف.
لهذا السبب فإن عمل المؤسسة هو حملة ضد بناء عقل يمكنه التفوق علينا في التخطيط ثم تسليمه مفاتيح المنزل وتسجيل الدخول إلى البنك والشبكة، وليس حملة ضد البرمجيات. أنت تعرف بالفعل ما يشعر به عندما يتصرف نظام غبي بشكل خاطئ. لا تُصعّد المشكلة.