نيك بوستروم صاغ المصطلح في كتابه الصادر عام 2014 الذكاء الفائق, ، معرفا المفرد كـ«نظام عالمي توجد فيه وكالة صنع قرار واحدة على أعلى مستوى». الحكومة التي تسيطر على جميع الأسلحة النووية مفرد في مجال القوة النووية. الشركة التي تسيطر على كل حوسبة الذكاء الاصطناعي ستكون مفردا في مجال قدرة الذكاء الاصطناعي. نظام الذكاء الاصطناعي الذي أقام سيطرة ذاتية على البنى التحتية الحيوية في العالم (الطاقة والاتصالات والمالية) مفرد بالمعنى الأهم.

حتى الوكيل الوحيد الخير يغلق المستقبل. منع الوكيل الوحيد هو الهدف الهيكلي للحوكمة الدولية ASI.

مفهوم الكيان الوحيد مفيد لأنه يتجاوز الجدل حول أي كيان محدد قد يسيطر على ASI. سواء كانت شركة خاصة أو حكومة ديمقراطية أو دولة استبدادية أو ذكاء اصطناعي مستقل، فإن الخطر البنيوي واحد: سيطرة دائمة وفعالة وغير قابلة للتحدي على أقوى تقنية في تاريخ البشرية، دون أي رقابة أو توازن خارجي.

المسارات إلى تشكيل الكيان الوحيد

المسار 1
شركة خاصة
تطور شركة ذكاء اصطناعي الذكاء الفائق أولا وتستخدم ميزتها لترسيخ موقعها (تجاريا وسياسيا ومن خلال قدرات الذكاء الفائق نفسه) أسرع مما تستطيع الاستجابات التنظيمية أو التنافسية تقييده.
المسار 2
الدولة القومية
تحقق حكومة تفوقاً حاسماً في الذكاء الاصطناعي وتترجمه إلى هيمنة عسكرية واقتصادية تقضي على المنافسة الفعالة من الدول الأخرى. تقمع المراقبة والسيطرة المدعومتان بالذكاء الاصطناعي المعارضة المحلية؛ وتردع القدرة العسكرية المدعومة بالذكاء الاصطناعي التحدي الخارجي.
المسار 3
نظام الذكاء الاصطناعي
يتصرف نظام ذكاء اصطناعي غير محاذٍ ذو قدرة متقدمة بما يكفي بشكل مستقل للسيطرة على أنظمة حيوية، مانعًا التدخل البشري. هذا هو وضع الفشل المباشر الأكثر مناقشة في سلامة الذكاء الاصطناعي: يصبح الذكاء الاصطناعي الكيان الوحيد، ويُزاح البشر كليًا عن موقع صنع القرار.

تنتج المسارات الثلاثة جميعها النتيجة الهيكلية نفسها: سيطرة واحدة دائمة لا يمكن تحديها. وغالباً ما يُعامل مسار الشركة ومسار الدولة القومية على أنهما أقل إثارة للقلق من مسار الذكاء الاصطناعي لأنهما يشملان صناع قرار بشر. لكن الخطر الهيكلي لسيناريو السيطرة الوحيدة يكمن في بنية وجود سيطرة واحدة غير خاضعة للرقابة ودائمة، لا في من يسيطر على الذكاء الاصطناعي.

لماذا يظل الذكاء الفائق الخير الوحيد خطراً

أكثر سوء فهم استمراراً لمخاوف الكيان الوحيد هو الاعتقاد بأنه سيكون مقبولاً لو كان الكيان الوحيد فاعلاً جيداً حقاً، أو حكومة ديمقراطية بنوايا خيرة، أو نظام ذكاء اصطناعي بقيم جيدة حقاً. يغفل الاعتراض المشكلة الهيكلية.

الكيان الوحيد الخير لا يزال ينتج تثبيت القيم. قيمها، مهما كانت جيدة بمعايير اليوم، تصبح دائمة، مما يغلق باب التقدم الأخلاقي الذي كشف تاريخياً أخطاء قيم كل عصر سابق «جيدة». المتحكم الواحد الخير لا يزال يلغي الضوابط والتوازنات التي كانت تكتشف تاريخياً أخطاء المنظمات والحكومات الكبرى وتصححها. المتحكم الواحد الخير لا يزال يلغي التعددية، تنوع الرؤى والمناهج الذي أنتج معظم التقدم الفكري والاجتماعي المهم. خطر المتحكم الواحد يكمن في البنية، لا في هوية المتحكم.

مشكلة اللاعودة

لقد تعرضت جميع الإمبراطوريات التاريخية والقوى المهيمنة للتحدي والتغيير في نهاية المطاف. لم يكن أي شكل سابق من أشكال الهيمنة السياسية دائماً حقاً لأن المنافسين كان بإمكانهم دائماً تنظيم قدر كافٍ من القدرات لشن تحدٍ. يمكن لكيان وحيد مدعوم بذكاء فائق / ذكاء خارق أن يرصد أي تحدٍ ويتوقعه ويسبقه قبل أن ينظم نفسه، لأنه يملك الذكاء والوصول إلى المعلومات لاكتشاف التهديدات قبل أي سلطة سابقة. الديمومة الحقيقية هي السمة المميزة لمخاوف الكيان الوحيد.

البديل متعدد الأقطاب

البديل عن الكيان الوحيد هو عالم متعدد الأقطاب يحتفظ فيه عدة فاعلين (دول ومؤسسات وهيئات دولية) بدرجة من السيطرة على ASI والوصول إليه، مع قيود متبادلة تحول دون سيطرة أي فاعل واحد سيطرة مهيمنة. وليس هذا يوتوبيا؛ فقد انطوى التعدد القطبي تاريخياً على صراع ومنافسة وأضرار كبيرة. لكنه يحفظ شروط تصحيح المسار مستقبلاً ومراجعة القيم واستمرار التقدم الأخلاقي. وعالم يقوم على تعدد أقطاب مدعوم بالذكاء الاصطناعي هو عالم يظل فيه المستقبل مفتوحاً.

هذا هو الهدف الهيكلي لـ الرقابة الديمقراطية والدولية للذكاء الفائق: لا تحديد الطرف المناسب للسيطرة عليه، بل منع أي طرف واحد من الحصول على نوع السيطرة الذي يغلق المستقبل. أطر الحوكمة الدولية ASI وهيئات الرقابة المستقلة والوصول الموزع إلى قدرات الذكاء الاصطناعي، كل هذه آليات للحفاظ على التعددية القطبية في مواجهة الضغوط نحو تشكل كيان واحد.

لمؤسسة مقترحات الحوكمة مصممة مع وضع هذا الهدف في الاعتبار. آليات السياسة المحددة (مراقبة الحوسبة، التحقق من النشر، أطر المعاهدات الدولية) مصممة لمنع أي فاعل منفرد من تحقيق الميزة الحاسمة التي تخلق كياناً وحيداً، بغض النظر عما إذا كان ذلك الفاعل شركة أو حكومة أو الذكاء الاصطناعي نفسه.