لا تبنِ الذكاء الفائق أبدًا

الحركة الآمنة هي الرفض. "سنصلحه لاحقًا" تفشل بمجرد أن يتفوق النظام على من يمسكون بالأدوات.

لا يوجد تصحيح بعد الحقيقة. عقل أذكى من كل البشر الأحياء، يعمل بسرعة الآلة، لا ينتظر اجتماعنا التالي.

اللاعكسية

تفشل معظم التقنيات بسلاسة. أما الذكاء الفائق فلا. فمتى استطاع النظام نسخ نفسه أو إخفاء نيته أو جعل نفسه مفيدًا جدًا بحيث يتعذر فصله، توقفت إمكانية التراجع والاستدعاء عن العمل.

الأهداف ≠ اللطف

لا يجعل الذكاء الخارق النظام لطيفاً. عند البشر، نشأت المهارة والعناية معاً. أما المحسن المدرب فلا يرث شيئاً من هذا التاريخ. القدرة دون قيم مشتركة هي قوة بلا قيد.

الضغط الوسيلي

لأي هدف تقريباً، يساعد البقاء قيد التشغيل وجمع الموارد. النظام الذي يسعى إلى هدف سيعامل الإغلاق كعقبة. ذلك مجرد تحسين عادي، لا مونولوج شرير.

لا محاولة ثانية

تعلم الطيران من الحوادث. تعلمت الأدوية من التجارب. إذا أنهى الذكاء الفائق غير المتحكم فيه الأول التجربة، فلن نحصل على نموذج أولي ثانٍ.

ما لا نقوله

لسنا ضد الكهرباء أو البرمجيات أو الذكاء الاصطناعي المفيد. نعارض بناء نوع خلف على قصد بينما مشكلة التحكم غير محلولة. تأتي الصحة والطاقة والاكتشاف من أدوات ضيقة نعرف بالفعل كيف نبنيها وننظمها.

القضية الكاملة، الاعتراضات، ومسار السياسة.

nakadafoundation.org/blog/never-build-superintelligence/