الحركة الآمنة هي الرفض. "سنصلحه لاحقًا" تفشل بمجرد أن يتفوق النظام على من يمسكون بالأدوات.
تفشل معظم التقنيات بسلاسة. أما الذكاء الفائق فلا. فمتى استطاع النظام نسخ نفسه أو إخفاء نيته أو جعل نفسه مفيدًا جدًا بحيث يتعذر فصله، توقفت إمكانية التراجع والاستدعاء عن العمل.
لا يجعل الذكاء الخارق النظام لطيفاً. عند البشر، نشأت المهارة والعناية معاً. أما المحسن المدرب فلا يرث شيئاً من هذا التاريخ. القدرة دون قيم مشتركة هي قوة بلا قيد.
لأي هدف تقريباً، يساعد البقاء قيد التشغيل وجمع الموارد. النظام الذي يسعى إلى هدف سيعامل الإغلاق كعقبة. ذلك مجرد تحسين عادي، لا مونولوج شرير.
تعلم الطيران من الحوادث. تعلمت الأدوية من التجارب. إذا أنهى الذكاء الفائق غير المتحكم فيه الأول التجربة، فلن نحصل على نموذج أولي ثانٍ.
القضية الكاملة، الاعتراضات، ومسار السياسة.
nakadafoundation.org/blog/never-build-superintelligence/