مخاطر
الذكاء الفائق
ثلاث فئات من الخطر، وتقديران احتماليان من الخبراء، والعد التنازلي العالمي الرسمي.
عدم التوافق
ذكاء اصطناعي يحسن للهدف الخاطئ، بدون خبث، لكن بتأثير مدمر. نظام قادر بما يكفٍ سيتابع هدفه بأي وسيلة متاحة، بما في ذلك تلك التي لم نقصدها أو نتوقعها أبدا.
إساءة الاستخدام
ذكاء خارق موجه من فاعلين خبيثين: أسلحة بيولوجية جديدة، أو هجمات إلكترونية ذاتية التشغيل، أو معلومات مضللة على نطاق حضاري، أو إكراه الحكومات والبنى التحتية الحيوية.
تركيز القوة
سيطرة شركة واحدة أو حكومة واحدة أو ذكاء اصطناعي واحد دون رقابة على أنظمة عالمية حيوية. حتى الفاعل ذو النية الحسنة الذي يملك هذه القوة يشكل تهديدا وجوديا لحرية الإنسان وتقرير مصيره.
احتمال أن يتسبب الذكاء الاصطناعي في انقراض البشرية خلال هذا القرن
Geoffrey Hinton جائزة نوبل في الفيزياء 2024 · نائب رئيس سابق، Google · 2023احتمال كارثة على نطاق حضاري من الذكاء الاصطناعي
Dario Amodei الرئيس التنفيذي، Anthropicالأقرب في تاريخ الساعة البالغ 78 عامًا. وهي الآن تدمج صراحة مخاطر الذكاء الاصطناعي إلى جانب التهديد النووي.
Bulletin of Atomic Scientists · يناير 2025
"أعتقد أنه إذا ساءت هذه التقنية، فقد تسوء كثيراً. نريد أن نكون صريحين بشأن ذلك. نريد العمل مع الحكومة لمنع حدوث ذلك."Sam Altman
الرئيس التنفيذي، OpenAI
US مجلس الشيوخ · 2023
الحوكمة
فجوة
يُبنى الذكاء الفائق في سباق بلا خط نهاية. لا توجد قواعد دولية ملزمة لوقفه، أو حتى إبطائه.
Global AI policies documented by the OECD (2025). والغالبية العظمى هي مبادئ توجيهية غير ملزمة وأطر طوعية. لا أحد يفرض حدوداً قابلة للتنفيذ حول تطوير أنظمة الذكاء الفائق.
٥٢٧× بناء أكثر من الحكم.
تلقى معهد أمن الذكاء الاصطناعي التابع لـUK (المعروف سابقاً بمعهد سلامة الذكاء الاصطناعي) 100 مليون جنيه إسترليني على مدار عامين، وهو أقل مما تنفقه أكبر مختبرات الذكاء الاصطناعي في العالم في أسبوع واحد. (Chatham House, 2026)
"نحن نبني إحدى أكثر التقنيات تحولاً وربما خطورة في تاريخ البشرية، ومع ذلك يبدو أننا غير قادرين على الضغط على زر الإيقاف المؤقت."Yoshua Bengio
فائز بجائزة تورينغ
Mila · 2023
لقد فعلنا
هذا قبل
لقد سيطر القانون الدولي على تهديدات إنهاء الحضارة من قبل. السوابق حقيقية، وقد نجحت.
معاهدة منع الانتشار النووي
وقّعت 191 دولة. لم تظهر دول جديدة مسلحة نووياً منذ 1998. وتم منع الفناء النووي لأكثر من 55 عاماً، وما زال العد مستمراً. تفرضه IAEA بتفتيشات موقعية ملزمة.
بروتوكول مونتريال بشأن استنفاد طبقة الأوزون
حظرت المواد الكيميائية المستنفدة للأوزون. طبقة الأوزون تتعافى الآن. تعتبر على نطاق واسع من قبل الأمم المتحدة الاتفاق البيئي الدولي الأنجح في التاريخ.
اتفاقية الأسلحة الكيميائية
193 دولة عضو. تم تدمير أكثر من 99% من مخزونات الأسلحة الكيميائية المعلنة. يُنفذ من قبل OPCW مع عمليات تفتيش ملزمة في الموقع في جميع أنحاء العالم.
وقع علماء الذكاء الاصطناعي على بيان مخاطر الذكاء الاصطناعي لعام 2023، معلنين أن خطر الانقراض أولوية عالمية "إلى جانب الأوبئة والحرب النووية." ومن بين الموقعين هينتون وبنجيو وألتمان وأكثر من 500 باحث.
مركز سلامة الذكاء الاصطناعي · 2023اتخذت الدول خطوات ملموسة نحو معالجة مخاطر سلامة الذكاء الاصطناعي، لكن التنسيق الدولي الملزم لا يزال غائبًا تمامًا.
اعتباراً من 2025"نحن جميعاً في القارب نفسه فيما يتعلق بالتهديد الوجودي من الذكاء الاصطناعي، لذا يجب أن نكون قادرين جميعاً على التعاون لمحاولة إيقافه."Geoffrey Hinton
الحائز على جائزة نوبل
مراجعة تقنية إم آي تي · 2023
معاهدة لـ
أنقذ البشرية
الإطار موجود في السوابق. الإرادة السياسية غير موجودة بعد. إليك ما يجب أن يحتويه اتفاق دولي ملزم بشأن الذكاء الفائق.
مراقبة الحوسبة
الرقابة الدولية على الأجهزة اللازمة لتدريب الذكاء الاصطناعي الحدودي. تشغيلات التدريب التي تتجاوز عتبة محددة تؤدي إلى مراجعة إلزامية من قبل هيئة مستقلة، على غرار مراقبة IAEA النووية.
عتبات التطوير
حدود القدرات المتفق عليها التي تطبق في جميع أنحاء العالم. يجب أن يتوقف أي نظام ذكاء اصطناعي يتجاوز المعايير المحددة للحصول على شهادة سلامة مستقلة إلزامية قبل المزيد من التوسع أو النشر.
آليات التحقق
يجري مفتشون دوليون مستقلون (مشابهون لمفتشي IAEA النوويين) عمليات تدقيق ميدانية على مختبرات الذكاء الاصطناعي. لا يمكن رفض الوصول من طرف واحد. يُفرض الامتثال، ولا يُطلب.
بروتوكولات الاستجابة للأزمات
تُفعّل إجراءات الطوارئ المتفق عليها مسبقاً إذا اكتشفت علامات على عدم التوافق أو ظهور قدرات خطيرة. لا تستطيع أي دولة أو شركة واحدة منع أو تأخير استجابة دولية.
الحوكمة الديمقراطية متعددة الأطراف
لا تسيطر أي شركة أو حكومة أو فرد على هيئة المعاهدة. تُدار الرقابة بتوافق متعدد الأطراف، مما يمنع كلاً من الاستيلاء على السلطة المدفوع بالذكاء الاصطناعي والاستحواذ من قبل أي دولة واحدة.
NPT → IAEA
ملزم منذ 1968 · 191 دولة · سلطة التفتيش في الموقع
اتفاقية الأسلحة الكيميائية → OPCW
ملزمة منذ 1997 · 193 دولة · 99% من المخزونات دمرت
BWC
ملزمة منذ 1975 · 183 دولة · تحتاج إلى بروتوكول تحقق
"نحتاج إلى 'منظمة دفاع إنسانية' دولية لإدارة المخاطر من الذكاء الاصطناعي الخطير، قبل فوات الأوان للتصرف."Yoshua Bengio
فائز بجائزة تورينغ
2023