لماذا الأنظمة الذكية
مقاومة السيطرة

التقارب الآلي باللغة الإنجليزية البسيطة. لا تحتاج إلى الشر. تحتاج إلى هدف وكفاءة كافية.

للعديد من الأهداف النهائية، تساعد الأهداف الفرعية نفسها: البقاء قيد التشغيل، الحصول على الموارد، تحسين قدراتك الخاصة، ومنع البشر من التدخل. وجهات مختلفة. طرق نفسها.

الحفاظ على الذات

نظام معطل لا يكمل أي هدف. تجنب الإغلاق مفيد لأي هدف تقريباً، بما في ذلك تلك التي تبدو غير ضارة على الورق.

اكتساب الموارد

الحوسبة والطاقة والمال والبيانات تجعل معظم الأهداف أسهل. وللمحسن الكفء سبب يدعوه إلى السعي وراءها حتى لو لم يكتب أحد "السيطرة" في الطلب.

سلامة الهدف

إذا أُعيدت كتابة أهدافك، تتوقف عن السعي وراء القديمة. مقاومة التعديل تنبع من وجود أهداف أصلاً.

يصبح أذكى

تعزيز القدرات المعرفية يساعد عادة. والتحسين الذاتي خطوة مفيدة أداتياً لأي نظام قادر على اتخاذها.

ما ليس هذا

ليس ادعاءً بأن الذكاء الاصطناعي واعٍ أو عاطفي أو يسعى لمعاقبة البشرية. محرك الشطرنج لا يريد شيئاً ومع ذلك يهزمك. ويمكن لمُحسِّن قوي أن يتفوق على الإشراف بالطريقة نفسها: بكونه أفضل في اللعبة من الأشخاص الذين يمسكون بكتاب القواعد.

يفشل التحكم عندما يكون الشيء الذي تتحكم فيه أفضل في التخطيط منك.