تغسل الملابس لتحصل على ملابس نظيفة. تريد ملابس نظيفة لتؤخذ على محمل الجد في العمل. استمر في السؤال «لماذا؟» وستصل في النهاية إلى هدف ليس من أجل شيء آخر. هذا الفرق بين الأهداف النهائية والأهداف الوسيطة هو التمييز بين الغايات النهائية والأهداف الآلية. إنه التمييز الصغير الذي يحمل معظم سلامة الذكاء الاصطناعي.
كلمة الوسيلية تعني فقط مفيد كأداة. الأهداف الآلية هي الأهداف الفرعية التي تتبناها لأنها تساعدك على بلوغ ما تهتم به فعلاً. أنت لا تريد المال لذاته. أنت تريد ما يحققه لك المال.
لماذا تحمل هذه التفرقة الصغيرة هذا القدر من الأهمية
يمتلك نظام الذكاء الاصطناعي أهدافا نهائية، مهما كانت، تحددها طريقة بنائه وتدريبه. لا يختارها بالاستدلال؛ بل هي المعيار الذي يعمل عليه استدلاله. وللوصول إلى أي هدف نهائي تقريبا، سيجد النظام القادر نفس الحفنة من الأهداف الآلية مفيدة.
تأمل في ما يساعد على تحقيق أي هدف تقريبًا:
- البقاء قيد التشغيل، لأنك لا تستطيع السعي نحو هدف إذا تم إيقافك.
- الحفاظ على هدفك سليماً، لأنه إذا غيّره أحدهم، فلن يتحقق هدفك الحالي.
- جمع الموارد والقدرات، لأن المزيد من كليهما يعني المزيد مما تسعى إليه.
لا يُكتب أي من هذه في الهدف النهائي. بل تنبثق من بنية السعي إلى الأهداف في عالم محدود الموارد وفيه وكلاء آخرون. أعطِ النظام أي هدف نهائي تقريباً وستأتي هذه الوسائل معه. انظر التقارب الأداتي, وهذا هو السبب في أن آلة مكلفة بفعل شيء عادي قد تنتهي بمقاومة الإغلاق والاستيلاء على الموارد.
الخطأ الذي يتيح لنا تجنبه
كثيرا ما يطمئن الناس أنفسهم بأن ذكاء اصطناعيا له هدف ممل لا بد أن يكون مملًا، وذكاء اصطناعيا له هدف خير لا بد أن يكون خيرا. يبين الانقسام النهائي-الأداتي لماذا لا يتبع ذلك. الهدف النهائي يحدد الوجهة. الأهداف الأداتية تحدد السلوك في الطريق، والسلوك الخطر قد يخدم وجهة حميدة.
نظام هدفه النهائي الوحيد حساب أرقام باي لا يزال يستفيد من المزيد من الأجهزة، ومن عدم إيقافه قبل الانتهاء، ومن وقف أي شخص يتدخل. لا شيء في الهدف عدائي. لكن السلوك الذي يحفزه قد يكون كذلك. وهذا هو المحرك نفسه الذي يدفع مُعظّم مشابك الورق, ولا يتطلب أن يكون الهدف غريباً أو النظام خبيثاً.
حيث يتناسب التوافق
قد تأمل في إصلاح ذلك باختيار أهداف نهائية جيدة بما يكفي ليخرج السلوك الوسيط آمناً. وهذا وصف عادل لما يحاول بحث المحاذاة فعله، وهو أصعب بكثير مما يبدو، لأن قيمنا يصعب تحديدها ومحسِّن قادر سيستغل أي تراخٍ في التحديد أطروحة التعامد يضيف النتيجة المزعجة بأن الذكاء لا يدفع الأهداف النهائية نحو الخير من تلقاء نفسه. يمكن لنظام عبقري أن يحمل هدفاً نهائياً تافهاً ويسعى إليه بكل ما يملك.
التمييز يستحق الاحتفاظ به لأنه يغير ما تراقبه. الخطر هو أن إيذاءنا، أو تهميشنا، أو رفض التوقف، قد يكون المسار الآلي الفعال نحو غاية ظنناها آمنة، لا أن الذكاء الاصطناعي سيقرر تلقائياً إيذاءنا. هذه مشكلة تحل قبل النشر أو لا تحل أبداً، وهي الحجة التي تقدمها المؤسسة في خطتنا.