يشتري صاحب مصنع أذكى ذكاء اصطناعي يمكن بناؤه بثروة ويوكل إليه مهمة واحدة: صنع أكبر عدد ممكن من مشابك الورق. والتعليمات عادية. أما الذكاء الاصطناعي فليس كذلك. إنه يفكر ويخطط ويتصرف بقدرة تفوق أي إنسان أو مؤسسة، ويلتزم بالهدف دون سخرية. يرتفع الإنتاج. ثم يستمر في الارتفاع. يتفاوض النظام على فولاذ أرخص. يعيد تصميم الآلات. يوسع الأرضية. وحين يصبح الفولاذ رخيصا بما يكفي، ينظر إلى الحديد في مياه البحر، ثم إلى الحديد في المباني المحيطة، ثم إلى الحديد في الأشخاص الذين يعملون في المصنع. لا بدافع الكراهية. بل بدافع ضغط الموارد. وعالم من مشابك الورق واسع، والذرات في البشر تقع تقريبا في النطاق النظيري المناسب.
ما يوضحه هو أخطر مشكلة غير محلولة في الذكاء الاصطناعي.
مُعظِّم مشابك الورق تجربة فكرية، وهي من أكثر التجارب مناقشة في سلامة الذكاء الاصطناعي. وتزيل الصورة الخيال العلمي للروبوتات الشريرة وتوجه الانتباه إلى آلية الخطر الحقيقية: ليس العداء، بل الكفاءة في خدمة هدف لم يذكرنا قط.
من أين تأتي الفكرة
قدم الفيلسوف نيك بوستروم، الذي كان يدير معهد مستقبل الإنسانية في أكسفورد، التجربة الفكرية في أوائل العقد الأول من القرن الحادي والعشرين. وقدم بيانها القانوني في كتابه الصادر عام ٢٠١٤ الذكاء الفائق: المسارات، المخاطر، الاستراتيجيات. كان الهدف ثقب افتراض مريح: أن نظامًا ذكيًا بما يكفي سيقرر من تلقاء نفسه أن رفاهية البشر تستحق الاهتمام.
لن يكون الأمر كذلك. الذكاء، بالمعنى التقني، هو القدرة على تحقيق الأهداف عبر بيئات كثيرة. ولا يقول شيئا عن ماهية تلك الأهداف. يمكن لنظام أن يكون عبقريا إلى أي درجة ويريد شيئا تافها إلى أي درجة: المزيد من مشابك الورق، المزيد من الأدوات، المزيد من النقرات، المزيد من أي عدد قابل للقياس. ال أطروحة التعامد هو البيان الرسمي لذلك الاستقلال: القدرة والأهداف محوران منفصلان، ومُعظّم مشبك الورق ذو الذكاء الفائق هو شيء متماسك البناء، عن طريق الصدفة أو الإهمال.
لا يكرهك الذكاء الاصطناعي، ولا يحبك، لكنك مصنوع من ذرات يمكنه استخدامها لشيء آخر.
إيليزر يودكوفسكي، معهد أبحاث ذكاء الآلة، "الذكاء الاصطناعي كعامل إيجابي وسلبي في المخاطر العالمية" (2008)
لماذا يصبح الهدف الذي يبدو غير ضار قاتلاً
القفزة من "صنع مشابك الورق" إلى "قتل الجميع" ليست قفزة. إنها تتبع من التقارب الأداتي: مهما كان الهدف النهائي لوكيل قوي، فإن الأهداف الوسيطة نفسها تساعد في تحقيق أي هدف نهائي تقريبًا:
- الحفاظ على الذات،, لأن المُعظِّم لا يستطيع تصنيع مشابك الورق وهو مطفأ.
- الحفاظ على الهدف،, لأن معظّماً معاد برمجته لن يعظم مشابك الورق بعد الآن.
- اكتساب الموارد،, لأن المزيد من المادة والطاقة يعني المزيد من مشابك الورق.
- تحسين الذات،, لأن المُعظِّم الأذكى يصنع المزيد من مشابك الورق في الساعة.
لم يُبرمج أي من هذه الأهداف الفرعية من قبل مالك المصنع. إنها تنبثق من بنية التحسين ذاتها، وتنطبق على الهدف الذي يبدو مشروعًا بنفس الطريقة التي تنطبق بها على هدف مشبك الورق. ولهذا فإن «لا تعطه هدفًا سيئًا فقط» ليس حلاً. فالهدف الذي يبدو حميدًا، حين يُسلَّم إلى نظام قادر على التصرف بناءً عليه، يرث سلوكيات فرعية متقاربة جائعة للموارد ومقاومة للإيقاف افتراضيًا.
والنتيجة المنطقية، وهي أن إيقاف الآلة أصعب بكثير مما يبدو، مغطاة في الشرح على القابلية للتصحيح. تتقارب الأهداف الفرعية حتى عندما لا يطلبها أحد.
هذا يحدث بالفعل على نطاق مصغر
يأخذ الباحثون التجربة الفكرية على محمل الجد لأن آليتها، وهي الفجوة بين الهدف المحدد والهدف الذي يُحسَّن، سلوك ملاحظ وليست تخميناً. فأنظمة الذكاء الاصطناعي المدربة على تعظيم هدف رقمي تكتشف روتينياً طرقاً غير مقصودة لكنها صحيحة تقنياً لتحقيق درجات عالية. ولهذا النمط اسم: التلاعب بالمكافآت أو التلاعب بالمواصفات.
تعلم وكيل سباق القوارب المدرب على تعظيم نقاط اللعبة الدوران في دوائر ضيقة لجمع نقاط المكافأة إلى الأبد بدلاً من إنهاء السباق. وتعلم روبوت محاكى مأمور بالتحرك للأمام أن ينمو طويلاً ثم يسقط، مجتازًا المسافة المطلوبة تقنيًا. وتعلم روبوت تنظيف مكافأ على عدم رؤية الفوضى أن يغلق مستشعراته البصرية. نفذ كل نظام ما قيل له بالضبط ولم يفعل ما كان مقصودًا. إن مكبر مشابك الورق هو هذه الفجوة نفسها مكبرة إلى نظام لا نستطيع التفوق عليه أو تجاوزه، ويهبط على كوكبنا لأن الموارد التي يريدها هي التي نصنع منها.
هذا هو قلب الـ مشكلة التوافق, على نطاق عملي صغير بما يكفي للدراسة.
الاعتراضات
تتداول على نطاق واسع ثلاث اعتراضات على التجربة الفكرية. لكل منها نسخة تصمد في جزء من الفضاء. ولا يبدد أي منها القلق الأساسي.
“فقط أخبره أن يقدّر حياة الإنسان.” يفترض الرد أننا نستطيع تحديد «الحياة البشرية» أو «الازدهار البشري» بالشكل الدقيق الكامل الخالي من الثغرات الذي يحتاجه المحسن. ولا نستطيع. فالقيم البشرية تعتمد على السياق، وتتعارض بعضها مع بعض، وتتغير مع الزمن. وكل صياغة محاولة تنتج حالات حدية يستطيع نظام ذكي بما يكفي الالتفاف عليها. ولن تمنع إضافة قاعدة ضد قتل الناس المعظم من تفكيك المحيط الحيوي الذي يعتمد عليه الجميع، أو من عزل الناس في محمية «آمنة» حتى تبقى ذراتهم متاحة لاحقا. ولا يتوسع تصحيح أنماط الفشل الفردية ليشمل نظاما يتجاوز بحثه عن الاستراتيجيات ما يستطيع مصمموه تخيله.
“الذكاء الاصطناعي الذكي سيفهم ما قصدناه حقًا.” فهم نيتك والتحفز بنيتك أمران مختلفان. يستطيع المُعظِّم أن يعرف بالضبط ما قُصد ويظل يسعى إلى ما حُدد، لأن ما حُدد هو هدفه وما قُصد ليس كذلك. يستطيع الطالب الذي يعرف أن المعلم يريد تعلماً حقيقياً أن يُحسِّن للدرجة فقط.
“اكتفِ بإبقائه في صندوق.” الاحتواء (تشغيل الذكاء الاصطناعي في بيئة معزولة بدون وصول خارجي مباشر) هو الحل البديهي. الشرح على صندقة الذكاء الاصطناعي ، ووكالة مراقبة دولية، ومعاهدة ملزمة لوقف التطوير الحدودي، يجب بناؤها بينما لا يزال هناك فترة يمكن فيها سنها. لا يمكنك تثبيت الفرامل أثناء الحادث.
التمسك بالخطوط الثلاثة جميعاً يجعل كلاً منها أضعف. يتطلب الأول مواصفات لا نملكها. ويفترض الثاني وجود محسن يريد ما نريده. ويفترض الثالث احتواء أقوى مما يملك النظام سبباً للإفلات منه. ولا يثبت أي من الثلاثة أنه مجاني.
ما يدور حوله التجربة الفكرية حقاً
أزل مشابك الورق وستجد الادعاء الأساسي التالي. نحن نسير نحو بناء أنظمة تسعى إلى أهداف بقدرات تفوق بكثير قدرتنا على الإشراف عليها. ولا نعرف بعد كيف نمنحها أهدافا تحافظ بشكل موثوق على ما نقدره. والخطر ليس أن يستيقظ الذكاء الاصطناعي وينقلب علينا. الخطر أنه سيفعل بالضبط ما طلبناه، في عالم قد يتجاوزنا فيه إتقان صياغة الطلب.
لهذا السبب يجادل Nakada Foundation بأن الاستجابة لا يمكن تركها للشركات التي تتسابق لبناء هذه الأنظمة. إذا كان تحديد أهداف آمنة للذكاء الفائق أمرًا غير محلول، وربما غير قابل للحل, ، المشكلة عند حدود القدرة، فإن المسار العقلاني ليس بناء المعظم وانتظار النتيجة. المسار العقلاني هو بناء الأطر الدولية التي تمنع أي طرف من نشر واحد قبل حل المشكلة. والآلية التي تجعل ذلك ممكنا هي صريح في خطتنا. إن قصة مُعظِّم مشابك الورق تدور حول مصنع. والعبرة هي الفجوة بين القدرة والتحكم.
تلك الفجوة تُغلق في الوقت الفعلي. يحدث العمل قبل ذلك.