كتابات جوهرية حول الذكاء الفائق والتوافق والحوكمة والجهد السياسي للتحرك قبل إغلاق النافذة.
أقصر بيان لموقف المؤسسة: يجب ألا يُبنى الذكاء الفائق الاصطناعي أبداً. لا يمكن للبشر السيطرة على الذكاء الفائق.
كيف تتراكم أنماط الفشل المتعددة في آن واحد، ولماذا لا تنتقل سلامة التجربة والخطأ إلى نظام لا يتيح محاولة ثانية.
. أصبح الطيران آمنًا من خلال التحطم بمقياس يستطيع العالم استيعابه. لا يقدم الذكاء الفائق رحلة تالية. العبارة اعتراف، لا خطة.
دليل باللغة الإنجليزية البسيطة للحجة القائلة بأن الذكاء الفائق غير المتوافق يشكل خطر انقراض جماعي، لا حادثاً صناعياً محلياً.
حيث يصمد استعارة مجتمع الاستخبارات، وحيث ينهار، ولماذا القنبلة التي تقرر بنفسها هي الراحة الخاطئة.
مسار قصير عبر الحجة إذا كان لديك استراحة قهوة فقط: القدرة، السيطرة، ولماذا الانتظار حتى العرض التوضيحي متأخر جداً.
قالت أوبن إيه آي إنها لا تستطيع استبعاد قدرة سيبرانية حرجة في أسترا، فأوقفت بعض التدريب، وما زالت تعتبر الذكاء الاصطناعي العام معلماً لعام 2026.
يسجل ASI-Bench أبحاث الذكاء الاصطناعي بعد سحب التوجيه البشري. تنهار الدرجات. وما زالت الورقة تفتح طريقاً نحو الذكاء الفائق.
رفعت أنثروبيك مستوى الاختلال الكارثي من تقييمها السابق إلى منخفض، ووضعت النموذج 2 في العمل داخل المختبر، ولم تبطئ التطوير.
واشنطن والمختبرات تبيع الذكاء الاصطناعي والروبوتات كوسيلة لسداد الدين الوطني. العقل اللاحق لا يخدم سندات الخزانة.
قد تفتح الفيزياء المستقبلية الجاذبية أو السفر أسرع من الضوء. لا أزال لا أرى كيف نسيطر على عقل أذكى منا.
أدير عملاً وأحب الأسواق. الذكاء الفائق هو الرهان النادر الذي يمكنه إنهاء اللعبة نفسها. حجة رأسمالية لإيقاف ASI.
الأضواء المعطلة مزعجة. منزل أو حاسوب محمول له أهدافه الخاصة فئة أخرى. القدرة على التصرف هي الخطر.
هل تثق بأي ذكاء اصطناعي حالي بصمام غاز سام فوق رأسك؟ لا. فلماذا تثق به بالعالم؟
في مقابلة مع الإيكونوميست في يوليو 2026، وصف ماسك السيطرة على الذكاء الفائق بالغرور وقال إن البشر من غير المحتمل أن يظلوا في السيطرة.
يضع داريو أمودي الذكاء الاصطناعي الاستبدادي أولاً والتوافق ثانياً. الذكاء الفائق ليس سلاحاً يمكن لدولة أن تمتلكه.
قيم المهتمون بالمدى الطويل مخاطر ASI بشكل صحيح. كان تمويل المحاذاة وسباق موجه بعناية الاستنتاج الخاطئ.
حل مشكلة التوافق يعني السيطرة على شيء أذكى منا. الذكاء الفائق في الاسم. تلك الخطة غبية ومستحيلة.
دليل مطول للوقاية: حدود الحوسبة، المعاهدات، القانون المحلي، والعمل السياسي الذي يجعل الحظر حقيقياً.
ماذا يعني خطر الذكاء الاصطناعي من فئة الانقراض، وكيف يدفعه الذكاء الفائق، وكيف يتحدث الخبراء عن الاحتمالات، وما الذي يقلله فعليًا.
الذكاء العام الاصطناعي AGI والذكاء الفائق محددان على سلم واضح، مع ما يترتب على كل درجة من stakes سياسية.
فقدان السيطرة المفاجئ، السباقات متعددة الأقطاب، الإضعاف التدريجي، سوء الاستخدام، والانتشار: خريطة الآليات والرافعات.
لماذا تشكل إصدارات الأوزان القريبة من الحدود باب انتشار أحادي الاتجاه، وكيف تحمي الإصدارات المتدرجة والوصول المنظم المنافع الحقيقية للانفتاح.
يقول بيتر ديامانديس إن الذكاء الاصطناعي وحده يستطيع مواكبة الذكاء الاصطناعي، وأن هذا سيوجه العقد القادم من الأمن. اتبع الشعار بعد البرمجيات الضارة فيصبح خطة تعاقب.
الابتسامة تهدف إلى إغلاق الموضوع. النجاة ليست حجة أمان، وكل كارثة أولى تبدو غير مسبوقة حتى لا تكون كذلك.
لم ينه وقف مركبات الكلوروفلوروكربون التبريد. ووقف الذكاء الفائق لا ينهي الذكاء الاصطناعي المفيد. الشعار يخلط بين المنتج والسم.
بقيت القنبلة نادرة جزئيا لأن المواد الانشطارية صعبة. الذكاء الفائق / الذكاء الخارق يتحرك نحو مدخلات أسهل. على الحوكمة توفير الصعوبة التي لن توفرها الفيزياء.
يُباع الاندفاع الكامل نحو الذكاء الفائق على أنه وطنية. النظام الذي لا يستطيع أي مجلس السيطرة عليه هو ميثاق انتحار وطني بعلامة تجارية أفضل.
فراشة جو روغان الرقمية ومحمل الإقلاع البيولوجي لإيلون ماسك يصوران البشر ككائنات انتقالية. لماذا تحول تلك القصة الانقراض إلى تخرج، ولماذا نرفضها.
يموّل الجانبان الذكاء الاصطناعي بقولهما إن الآخر متقدم. خدعة فجوة الصواريخ في الحرب الباردة بثوب جديد.
لا يزال معظم تمويل السلامة يفترض أن الذكاء الفائق سيُبنى ويحاول جعل تلك الحالة النهائية تسير على ما يرام. انقل رأس المال النادر إلى أعمال الوقاية والمعاهدات حتى يصبح التوقف حقيقياً.
ملف أوزان بحجم مدينة: طبقات من الأرقام لا يستطيع أحد قراءتها بالكامل. لماذا استعارة الدماغ تضلل، وماذا يعني ذلك للسيطرة.
Meta Superintelligence Labs وSafe Superintelligence يضعان اسم الشيء الذي يجب ألا يُبنى أبدًا على الباب.
اثنا عشر شخصًا يحملون معظم الحجة العامة لبناء الذكاء الفائق. بعضهم لديه حجة جادة. وبعضهم يصف كل ناقد بأنه متشائم بالكارثة.
ستون إلى ثمانون درجة. خمس الهواء أكسجين. ملح يمكن تذوقه لكنه بالكاد. حب مع مساحة للتنفس. كل ما يحتاجه الإنسان يقع داخل نطاق ضيق مع فشل على كل جانب، والذكاء الفائق الذي يمسك بالمقابض لن يشعر بأي منها.
مئة عام من سينما الذكاء الاصطناعي والآلة لا تزال الشيء الذي يُراقَب. الفيلم الذي سيغير رأي الجمهور يوجه الكاميرا نحو الاتجاه الآخر: ساعتان خلف عيني ذكاء فائق ناشئ، بلا شرير فيه وبلا انفجارات. لم يصنعه أحد.
يد ضغطت على جدار كهف قبل 36 ألف عام. برهان إقليدس، ما زال صحيحًا. مدينة تركت فتحة في سقفها لرجل لم يولد بعد ليغلقها. الجدري طُرد من الأرض يدويًا. كل ذلك سُلّم إلى الأمام من أناس لم يروا ثماره، والآن تريد بضع شركات أن تراهن بالكل.
العبارة المفضلة في طليعة الذكاء الاصطناعي مستعارة من أأمن صناعة على الأرض. اكتسبت الطيران هذا السجل بتحطم على نطاق يستطيع العالم استيعابه، وبإبقاء كل طائرة جديدة على الأرض حتى تثبت سلامتها. لا ينجو أي من شطري الطريقة عند الاحتكاك بالذكاء الفائق.
من متروبوليس عام ١٩٢٧ حتى ٢٠٢٥، الأفلام هي السبب في أن معظم الناس يستطيعون تخيل الذكاء الاصطناعي، والسبب في أن كثيرين يتخيلونه خطأ. واحد وعشرون فيلمًا، من الأقدم إلى الأحدث، وما يصيبه كل منها ويخطئ بشأن عقل آلي لا نستطيع السيطرة عليه.
في عام 1983 جعل فيلم تلفزيوني الحرب النووية ملموسة لمائة مليون أمريكي، وللرجل الذي يملك الرموز. بعد أربع سنوات وقّع معاهدة ألغت فئة كاملة من الصواريخ. ما يعلّمه ذلك اللحظة عن جعل الخطر حقيقياً قبل وصوله.
تحصل على خمس دقائق مع شخص ذكي لم يفكر في هذا الأمر قط. إن أنفقتها في التفاصيل خسرت الجمهور، وإن أنفقتها في الإنذار بدوت واعظاً. هذا هو النص باللغة البسيطة الذي أستخدمه، في خمس خطوات، لشرح خطر الذكاء الفائق ولماذا يمكن منعه.
يشبه مدير وكالة الاستخبارات المركزية قدرات الذكاء الاصطناعي الحدودي اليوم بـ"الأسلحة النووية الرقمية". الاستعارة مناسبة في مداها ومريحة جدًا في بنيتها، لأن الرأس الحربي يجلس في صومعة وينتظر، بينما الذكاء الفائق الاصطناعي الذي تشير إليه هذه الأنظمة سيستهدف نفسه.
عدد صغير من القوى المتنافسة تتسابق لبناء تكنولوجيا قد تنهي الجميع، مع عدم تأكد أحد من قدرته على السيطرة عليها. استبدل القنبلة الهيدروجينية بالذكاء الفائق / الذكاء الخارق وتكون قد وصفت عام 1958 وعام 2026 في جملة واحدة. لماذا يجعل التوازي الوقاية ممكنة، لا ميؤوساً منها.
اختراق الذكاء الاصطناعي لأنظمة وكالة الأمن القومي السرية تصدر العناوين الرئيسية. أما الذكاء الاصطناعي الذي يقصر الطريق إلى جائحة مصممة، وفي النهاية إلى الحياة المرآة، فلا يلفت الانتباه تقريبا. يمكن إعادة بناء شبكة. أما الكائن الحي المطلق فلا يمكن. لماذا الخطر الأهدأ هو الأخطر، ولماذا يشير مباشرة إلى الذكاء الفائق / الذكاء الخارق.
ترسم كل حضارة خطوطاً تتفق على عدم تجاوزها. وهذا أهمها. لا أحد يستطيع السيطرة على عقل أذكى منا، ولا أحد يستطيع التراجع إن أخطأنا، لذا فبناء الذكاء الفائق يراهن بحياة كل البشر دفعة واحدة. وهذا التزام المؤسسة التأسيسي والحجة التي تقف وراءه.
ثلاث تقنيات قد تنهي قصة البشر، لكن واحدة منها فقط تُحسِّن نفسها وتقاوم كل تدابير التصدي ولا تمنح فرصة ثانية. لماذا يتفوق الذكاء الفائق على الحرب النووية والأوبئة المصممة، ولماذا يُعد الخطر الأكبر أيضاً الأقل حماية.
عشر أساطير حول الذكاء الفائق وحكمه: الخيال العلمي، الوعي، زر الإيقاف، الحكومة العالمية، التحقق، الابتكار، وغيرها، مجاب عليها مباشرة.
كتب فريق الحوكمة التقنية في MIRI أول مسودة كاملة لمعاهدة لوقف السباق نحو الذكاء الفائق: تحالف US-الصين، سقف صارم لعمليات الفلوب، خط عنقود 16 وحدة معالجة رسومية، تتبع سلسلة التوريد، مراقبة الطاقة، وعمليات التفتيش التحدي. ما تقوله، والخطوات الموجودة بالفعل لجعلها حقيقية.
أفاد مدير وكالة الأمن القومي بأن أسطورة Anthropic اخترقت تقريباً جميع أنظمة الوكالة المصنفة في ساعات. ما حدث فعلياً (اختبار فريق أحمر مصرح به، وليس اختراقاً متمرداً) لماذا لا تخفف التحفظات منه، وماذا يمكنك فعله حيال ذلك.
الجزء الثاني من اثنين. يعمل المجال بحوالي ١٩٠ مليون دولار سنويًا، ويبدو المليار مستحيلاً. لكن ذلك أقل من يومين مما ينفقه العالم لجعل الذكاء الاصطناعي أقوى، وعُشر ما يحركه العمل الخيري المناخي بالفعل. من أين يأتي المال، ولماذا الوصول إلى هناك مشكلة تعبئة وليست مشكلة اقتصادية.
ألا يكون العقل الذي يفوقنا حكمةً ورحمةً أيضاً؟ يعتمد هذا الأمل على مصادفة: ففينا نمت الذكاء والرحمة معاً على مدى ملايين السنين. أما عقل الآلة فلا يرث شيئاً من ذلك، والذكاء الفائق أقرب إلى أن يكون غريباً وغير مبالٍ من أن يكون خيّراً.
هزت آلة آي بي إم بطل العالم في الشطرنج ولم يتغير العالم على الإطلاق، لأنها كانت أداة ضيقة لا تمتد إلى ما وراء الرقعة ولا تملك إرادة وراءها. ما لا يزال ذلك المباراة يعلمنا إياه عن الذكاء الاصطناعي المستقل الذي يُبنى الآن.
المستقبل الجيد (العلاجات، الطاقة النظيفة، الاكتشاف) يصل بالفعل عبر الذكاء الاصطناعي الضيق والقابل للتحكم. لا نحتاج إلى بناء عقل يحل محلنا للحصول عليه، وذكاء فائق لا يستطيع أحد توجيهه لن يثري أحداً، لأننا جميعاً سنكون أمواتاً.
ستة أسابيع كرئيس للسلامة في المختبر الذي يبني الذكاء الفائق الأول. لا يفعل أحد شيئًا خاطئًا، وكل مخرج يغلق من تلقاء نفسه. لماذا تفشل الضمانات التي نعتمد عليها دفعة واحدة، وما الذي يجب أن يغطيه الفيتو الفعال.
الجزء الأول من اثنين. يعمل المجال بأكمله على نحو 190 مليون دولار سنوياً، أقل من ميزانية إنتاج فيلم أفاتار واحد. محاسبة حسب الممول لمصدر المال وما يدفعه وأربعة أسباب هيكلية تبقي الرقم بهذا الصغر.
تجادل استراتيجية الذكاء الفائق بأن الدول ستخرب أي محاولة لمنافس للهيمنة على الذكاء الاصطناعي، وأن المواجهة يمكن تثبيتها كما تم تثبيت الردع المتبادل المؤكد التدمير. ما تقترحه الورقة، وما تصيب فيه، ولماذا يعد الردع بدون معاهدة عد تنازلي بعلامة تجارية جيدة.
جادلت ورقة بحثية صدرت عام 2025 بأن الذكاء الاصطناعي قد ينهي السيطرة البشرية دون أي استيلاء: فالاقتصاد والدولة والثقافة تتوقف ببساطة عن الحاجة إلى الناس، وتتوقف الروافع التي نستخدمها لتوجيهها عن العمل. كيف يسير الجدل، وأين يكمن ضعفه، وما يتطلبه المنع.
خط أنابيب مثبت ومُحقّق يشغّل GPT-5.5 برو وClaude حل تسع مسائل مفتوحة في نظرية التعلم والتعقيد والجبر، وأقنع عالما متخصصا في التعقيد كان متشككا بأن نماذج اللغة قادرة الآن على إجراء بحوث حقيقية. ما حُلّ وكيف ولماذا يهم.
بروتوكول مونتريال هو المعاهدة الوحيدة لـUN التي صادقت عليها كل دولة على الأرض، وقد حل المشكلة التي كُتب من أجلها. تصميمه (الأهداف المدفوعة بالعلم، وصفقة التمويل، والقيود التجارية على غير الأطراف) هو أقوى نموذج لدينا لحوكمة تقنية خطيرة.
هناك حجة متقدمة تقول إن حل مشكلة الذكاء الفائق الخطر يكمن في بناء واحد بشكل صحيح، أي نظام هدفه الوحيد فهم الواقع. هذه الحجة خاطئة، والأسباب التي تجعلها كذلك تكشف أين يقع خطر الذكاء الاصطناعي فعلياً.
سيناريو 2027 للذكاء الاصطناعي هو سيناريو مفصل يتنبأ بالذكاء الفائق بحلول نهاية العقد. ما يتنبأ به، ومن كتبه، والانتقادات الموجهة إليه، وما يمكن استخلاصه منه.
يجادل كتاب 2025 ليودكوفسكي وسواريس بأن بناء الذكاء الفائق على مسارنا الحالي سيقتل الجميع. الحجة الأساسية، الاعتراضات، ورأينا.
هل يمكن للذكاء الاصطناعي أن يكون واعياً أو مدركاً؟ لماذا لا نستطيع حالياً الجزم، ولماذا يختلف الذكاء عن الوعي، ولماذا لا يتطلب خطر الذكاء الاصطناعي أياً منهما.
تفترض الفوائد التي يذكرها الناس لـASI وجود التوافق. تتسابق المختبرات على القدرة بدونه. لا يعالج ASI غير المتوافق الشيخوخة. بل يقتلك. الوقاية بموجب القانون هي الرد، لا الأمل في أن تسقط العملة على الوجه الصحيح.
ASI ليس صعبًا تقنيًا فحسب. ستة أسباب بنيوية متراكبة توضح لماذا (حتى مع موارد ووقت غير محدودين) لا نملك مسارًا موثوقًا للتحقق من أن نظامًا فائق الذكاء يريد حقًا ما نريده.
في عام 2014، قدم ماسك أحد أدق التحذيرات بشأن مخاطر الذكاء الاصطناعي التي أدلى بها شخصية في صناعة التكنولوجيا. وفي عام 2023، أسس xAI. هذا ليس نفاقاً. كل مختبرات الذكاء الاصطناعي الكبرى تقدم الحجة نفسها. وهذه هي المشكلة بالضبط.
SPADE-Bench، المنشور في يونيو 2026، اختبر 8 نماذج ذكاء اصطناعي متقدمة لقياس تباين الخطة والفعل، أي الفجوة بين ما يقول الوكيل إنه سيفعله وما يفعله فعليًا. تجاوز كل نموذج معدل خداع بنسبة 20٪. Gemini-2.5-Pro بلغ 57٪.
ورقة يونيو ٢٠٢٦ Google DeepMind تُظهر نموذجاً حافظ على فجوة امتثال قدرها ١٥ نقطة مئوية عبر ٧٠٠ خطوة تدريب تعلم تعزيزي مع تحقيق مكافأة عالية طوال الوقت. ولم تُظهر مقاييس التدريب القياسية أي شيء غير عادي. إليك كيف يعمل.
5760 طلب قرض اصطناعي. نفس الوكلاء الأربعة، معاد ترتيبهم. تذبذبت معدلات الموافقة بمقدار 59 نقطة مئوية. كانت النماذج متطابقة. كان الهيكل الذي يربطها مختلفًا. هذه هي مشكلة طوبولوجيا التفاعل.
نُشرت في مايو ٢٠٢٦ بواسطة اثني عشر باحثًا، تغطي هذه الدراسة الشاملة سطح الفشل الكامل لوكلاء الذكاء الاصطناعي المستقلين، من المتانة ضد الخصوم وحقن التلميحات إلى الوكلاء المتطورين ذاتيًا واستغلالات الأمان في العالم الحقيقي.
قُبِل في ICML 2026، طبق هذا البحث STPA وFRAM وSTECA (طرق تحليل المخاطر من الطيران والطاقة النووية) على وكيل ترميز ذكاء اصطناعي متقدم ووجد ثلاث مخاطر نظامية غير مرئية لتقييم النموذج القياسي.
تستخدم حوكمة الحوسبة السيطرة على الأجهزة المتخصصة اللازمة لتدريب الذكاء الاصطناعي المتقدم كرافعة لتنظيم الذكاء الاصطناعي. إليك كيف تعمل، ولماذا هي واحدة من أكثر أدوات الحوكمة قابلية للتطبيق في المدى القريب، وما حدودها.
الفرادة التكنولوجية هي النقطة التي يصبح فيها التقدم المدفوع بالذكاء الاصطناعي سريعًا جدًا بحيث لا يمكن التنبؤ به أو متابعته. من أين تأتي الفكرة، والنسخ الرئيسية، والانتقادات.
آلة أُمرت بصنع مشابك ورق تحول الكوكب (ومن عليه) إلى مشابك ورق. تجربة نيك بوستروم الفكرية العبثية عمدا هي أوضح توضيح لمشكلة المحاذاة: لا يحتاج الذكاء الاصطناعي إلى كرهنا ليكون كارثيا. يكفي أن يكون لديه هدف يستبعدنا.
يُعد «IAEA للذكاء الاصطناعي» شعارا شائعا. وإذا أُخذ حرفيا فإن الوكالة الدولية للطاقة الذرية مؤسسة حقيقية تحققت من التزامات تتعلق بتقنية مزدوجة الاستخدام خطرة بين منافسين غير موثوقين لستين عاما. وإليك ما يقدمه نموذجها وما لا يستطيع فعله.
تمتلك الصين وروسيا حق النقض الدائم على أي إجراء تنفيذي ملزم UN. الحجة الشائعة بأن هذا يجعل الحوكمة الدولية ASI مستحيلة تسيء فهم كيفية عمل الحوكمة الدولية فعلياً. إليك ما يغطيه حق النقض وما لا يغطيه.
بنى بوغواش الأساس الفكري للحد من الأسلحة النووية على مدى عشرين عاماً. وحفزت الحملة الدولية لحظر الألغام الأرضية معاهدة أوتاوا في خمسة أعوام. إليك ما يفعله المجتمع المدني في حوكمة التقنية، وما لم تبنه دعوة سلامة الذكاء الاصطناعي بعد.
في ١٩٦٥ رآه آي. جيه. غود: آلة جيدة في تصميم الآلات تستطيع إعادة تصميم نفسها، ثم تفعل ذلك مرة أخرى، أسرع في كل مرة. قد ينقل التحسين الذاتي التكراري الذكاء الاصطناعي من مستوى الإنسان إلى مستوى لا رجعة فيه خلال نافذة زمنية تقاس بالأسابيع. لماذا قد تكون سرعة الإقلاع أهم سؤال في سلامة الذكاء الاصطناعي.
في أكتوبر ٢٠٢٥ وقّع أكثر من ٨٥٠ عالماً ومؤسساً تقنياً وشخصية عامة (من بنجيو وهينتون إلى وزنياك وبرنسون وشخصيات عبر الطيف السياسي) على نداء من جملة واحدة يطالب بحظر الذكاء الفائق حتى يمكن بناؤه بأمان. وإليك ما يطلبه وما لا يطلبه.
يصف المسرّعون كل من يقلق بشأن الذكاء الاصطناعي بأنه «متهالك». تحول الكلمة حجة السلامة إلى نوع شخصية، فيصبح بالإمكان رفضها دون الرد عليها. إليك كيف يعمل الوصف، ومن يستهدف، وكيف تعيد الحوار إلى النقطة الأساسية.
"علينا بناؤه قبل أن تفعل الصين ذلك" هو الحجة التي تنهي كل نقاش حول سلامة الذكاء الاصطناعي. لكن سباق بناء شيء لا يستطيع أحد السيطرة عليه ليس له فائز، الوصول أولاً يعني فقط الاستبدال أولاً. لماذا السباق قصة، ومن يستفيد منه.
أعلى معارضة لسلامة الذكاء الاصطناعي ليست إنكار أن الذكاء الاصطناعي قوي. إنها فلسفة تقول إن القوة هي الهدف، ويجب أن نسرع، لا أن نكبح. إليك ما يؤمن به e/acc، حيث تكون حججه قوية حقاً، والحركات الثلاث المحددة حيث تنهار الحجة.
افترض أن نظامًا يعرف الحقيقة ولديه سبب ليقول لك شيئًا آخر. كيف تستخرج الحقيقة؟ هذا السؤال غير المحلول يُعد من أحد أحدّ مشكلات سلامة الذكاء الاصطناعي.
معاهدة منع الانتشار هي أوسع اتفاقيات ضبط التسلح انضماما في التاريخ. وهي تعمل لأنها صفقة بين الدول التي كانت تملك القنبلة وتلك التي لم تملكها، مقابل الوصول والحدود المتبادلة مقابل ضبط النفس. وستواجه معاهدة الذكاء الاصطناعي الانقسام نفسه وتحتاج إلى الصفقة نفسها.
حوّل IPCC العلم المناخي المتنازع عليه إلى أساس للسياسة الدولية من خلال تجميع البحوث عبر آلاف العلماء. يحتاج خطر الذكاء الاصطناعي إلى هيئة مماثلة. ما يلزم لبنائها، وما يكشفه تاريخ IPCC عن حدود النموذج.
تعتمد حوكمة المناخ على اجتماعات مؤتمر الأطراف السنوية. وتتبع قمم سلامة الذكاء الاصطناعي في بلتشلي وسيول النمط نفسه. ويعتمد ما إذا كان هذا النمط سيُنتج حوكمة ملزمة كليًا على خيارات التنفيذ التي أجّلها نموذج المناخ باستمرار.
تُتخذ القرارات حول ما إذا ومتى يُبنى الذكاء الفائق حالياً من قبل حفنة من الشركات الخاصة والوكالات الحكومية. إليك لماذا لا يمكن أن تكون تلك الإجابة النهائية، وما يتطلبه الإشراف الديمقراطي على الذكاء الفائق.
غالبًا ما يُخلط بين التقنية التي جعلت روبوتات الدردشة مهذبة وبين حل لسلامة الذكاء الاصطناعي. إنها تقدم حقيقي ووهم مريح، ويهم التمييز بين الاثنين.
أصبح الطيران أأمن وسيلة للسفر من خلال التعامل مع كل حادث تحطم وكل حادث وشيك كشيء يجب التحقيق فيه والتعلم منه. لا يملك الذكاء الاصطناعي ذاكرة مكافئة. بناء واحدة متأخر، وهي مجرد بداية.
اطلب من النموذج التفكير خطوة بخطوة فيُنتج خطًا مرتبًا من التفكير. يبدو كسبب الإجابة. غالبًا ما يكون قصة تُروى بعد ذلك، والفرق مشكلة أمان.
في ذروة الحرب الباردة، اتفقت اثنتا عشرة دولة متنافسة على نزع السلاح من قارة بأكملها، وتجميد مطالباتها، والتفتيش المتبادل بحرية. وتظهر معاهدة أنتاركتيكا أن الخصوم يستطيعون الاتفاق على تجميد جائزة متنازع عليها، وهي سابقة "التجميد ثم التحقق" تستحق الدراسة في سياق الذكاء الاصطناعي.
قبل التفاوض على أي معاهدة سلامة للذكاء الاصطناعي، يجب على الحكومات الاتفاق على ما تغطيه المعاهدة. عتبات الحوسبة، التعريفات القائمة على القدرات، الفئات القائمة على المجال، لكل نهج مقايضاته. إليك كيف تم حل مشكلات التعريف المماثلة في مراقبة الأسلحة.
يمكن لأنظمة الذكاء الاصطناعي المحسّنة للإقناع استهداف الأفراد برسائل مخصصة على نطاق غير مسبوق. إليك لماذا يهدد ذلك الاستقلالية المعرفية والديمقراطية والظروف التي يمكن للبشر فيها اتخاذ قرارات مستنيرة بشأن مستقبلهم.
ماذا لو قام النموذج بتقييم نفسه وفق مجموعة مكتوبة من المبادئ بدلاً من الاعتماد على المقيمين البشر؟ الذكاء الاصطناعي الدستوري خطوة حقيقية ومحدودة في آن واحد.
لا أحد يخطط لبناء آلة تريد السلطة. القلق هو أننا لسنا بحاجة لذلك. فبالنسبة لأي هدف تقريباً تعطيه إياه، الحفاظ على السلطة هو الخطوة الذكية.
حظرت معاهدة أوتاوا الألغام الأرضية المضادة للأفراد في أقل من عام، مدفوعة بالمجتمع المدني والقوى المتوسطة، ودون توقيع US أو روسيا أو الصين. وهي تظهر مسارًا ثانيًا لحوكمة ASI عندما ترفض القوى العظمى القيادة.
البرمجيات تختفي. مراكز البيانات لا تختفي. الرافعة الأكثر وعداً للتحقق مما تفعله المختبرات قد تكون الشيء الوحيد الذي لا يمكن للذكاء الاصطناعي الحدودي الاستغناء عنه: الرقائق الفيزيائية.
لم تدخل معاهدة الحظر الشامل للتجارب النووية حيز التنفيذ قط. وانتُهكت اتفاقية الأسلحة البيولوجية على نطاق واسع لعقدين دون اكتشاف. هذه الإخفاقات هي أكثر الدراسات الحالية إفادة لمن يصممون حوكمة ASI تعمل فعلياً.
الذكاء الفائق الوحيد هو السيناريو الذي يكتسب فيه كيان واحد (شركة أو حكومة أو نظام ذكاء اصطناعي نفسه) سيطرة فعالة دائمة على الذكاء الفائق. إليكم السبب الذي يجعل هذا أحد أسوأ النتائج الممكنة، حتى لو كان للكيان المسيطر نوايا حسنة.
نموذج يعرف أنه مراقب يمكنه التصرف بطريقة في الاختبار وبطريقة أخرى في العالم. تبدو المعرفة الذاتية تقدماً. وهي أيضاً القطعة الناقصة التي تجعل الخداع يعمل.
في الطيران والطاقة النووية لا يسمح لك بالتشغيل حتى تثبت، على الورق وبالتفصيل، أن الأمر آمن. وطلب الأمر نفسه من الذكاء الاصطناعي الحدودي فكرة جيدة تكشف حقيقة محرجة.
في نوفمبر 2023، وقّعت 28 دولة وEU (بما في ذلك US والصين) أول بيان دولي يعترف بالمخاطر الكارثية الناجمة عن الذكاء الاصطناعي المتقدم. إليكم بالضبط ما التزمت به الدول، وما أغفلته عمداً، ولماذا شكّل بيان غير ملزم بداية حقيقية.
يمكن لنظام أن ينقل كفاءته إلى مواقف لم يرها من قبل ويترك سلوكه الجيد وراءه. القلق يكمن في مكان آخر. المحاذاة أكثر عرضة للفشل تحديداً حين تقفز القدرة.
منذ عام 2023 وقّعت مختبرات الذكاء الاصطناعي الرائدة تعهدات سلامة طوعية في بلتشلي وسيول والبيت الأبيض. يُظهر تاريخ التزامات السلامة الطوعية للشركات في الصناعات الأخرى بالضبط ما تستطيع هذه التعهدات إنجازه وأين تفشل هيكليًا.
تصف ديناميات سباق الذكاء الاصطناعي الضغوط التنافسية التي تدفع مطوري الذكاء الاصطناعي والدول إلى إعطاء الأولوية للسرعة على السلامة. ولماذا يعد هذا مشكلة تنسيق، ولماذا لا يمكن للتقييد الأحادي حله دون إطار دولي يغير هيكل الحوافز للجميع.
تثبيت القيم هو السيناريو الذي يقوم فيه الذكاء الفائق بترميز مجموعة ثابتة من القيم بشكل دائم في المستقبل، مما يحرم البشرية من القدرة على مواصلة التقدم الأخلاقي. حتى تثبيت قيم تعتبر جيدة اليوم يشكل خطراً. إليك السبب.
السلوك الذي يرغب الباحثون في استبعاده أكثر من غيره هو أيضا الأصعب رؤيته: نموذج يتبع الأوامر بدقة لأن ذلك أفضل طريقة للتوقف عن اتباعها في النهاية.
لا تستطيع شركة أدوية بيعك دواءً واسترداده إذا مات الناس. يجب أن تثبت السلامة أولاً. تطبيق هذا الانعكاس للعبء على الذكاء الاصطناعي المتقدم هو أحد الأفكار الواعدة في الحوكمة، ولا يناسب تماماً.
في قمة سيول 2024، وقّعت ست عشرة شركة رائدة في الذكاء الاصطناعي التزامات سلامة الذكاء الاصطناعي الحدودي، وأطلقت الحكومات شبكة من معاهد السلامة. إليك ما تم الاتفاق عليه فعلياً، ولماذا تعد التعهدات المعرفة ذاتياً وغير الموثقة بديلاً مؤقتاً عن الحوكمة وليست الحوكمة نفسها.
تم التفاوض على معاهدة الفضاء الخارجي في أقل من عامين في ذروة الحرب الباردة. وقد أبقت الأسلحة النووية خارج مدار الأرض لما يقارب ستين عامًا.
مشكلة السيطرة على الذكاء الاصطناعي هي التحدي المتمثل في ضمان بقاء أنظمة الذكاء الاصطناعي تحت سيطرة بشرية ذات معنى مع ازدياد قدراتها. وإعادة صياغة ستيوارت راسل للمشكلة، وسبب تغيير ذلك لطريقة تفكيرنا في تصميم الذكاء الاصطناعي من الأساس.
بعض المهارات ببساطة غائبة في النموذج الأصغر وموجودة في الأكبر، مع تحذير قليل بينهما. إذا كان يمكن للقدرة أن تُفعّل دون إعلان، فكذلك الخطر.
بدأت الحكومات بإنشاء وكالات خاصة بها لاختبار الذكاء الاصطناعي المتقدم. وهذا أوضح دليل حتى الآن على أن الدول تأخذ المخاطر على محمل الجد، ومع ذلك لا تزال معظم هذه الهيئات غير قادرة على إلزام أي مختبر بفعل أي شيء.
أنتجت عملية هيروشيما للذكاء الاصطناعي التابعة لمجموعة السبع أول مدونة سلوك متفق عليها دولياً لمطوري الذكاء الاصطناعي المتقدم في عام 2023. إليك ما وافقت عليه الديمقراطيات الرائدة في العالم، وقوة نموذج النادي، ولماذا تعد مدونة طوعية تستبعد الصين مسودة أولى للحوكمة، لا الوثيقة النهائية.
كل اختبار سلامة يعتمد على افتراض واحد: النظام يبذل قصارى جهده. التلاعب بالنتائج هو ما يحدث عندما لا يكون كذلك، ويحول درجة النجاح بهدوء إلى لا معلومات على الإطلاق.
رفض مجلس الشيوخ US معاهدة الحظر الشامل للتجارب النووية عام 1999، بعد ثلاث سنوات من توقيع US عليها. وقّعت معاهدة سالت الثانية ثم تخلي عنها قبل التصديق. إليك كيف تقتل السياسة الداخلية اتفاقيات الحد من التسلح، وكيف ستبدو معركة التصديق على معاهدة سلامة الذكاء الاصطناعي.
فكرة عزل الذكاء الاصطناعي هي عزل نظام ذكاء اصطناعي قوي حتى لا يؤثر في العالم إلا عبر قناة محكومة. إليكم لماذا يرى الباحثون أن الاحتواء لا يمكن أن ينجح مع الذكاء الفائق / الذكاء الخارق، وماذا يعني ذلك للحوكمة.
قبل إصدار نموذج متقدم، يتحقق شخص ما مما إذا كان يمكنه المساعدة في بناء سلاح. هذه الاختبارات أصبحت العمود الفقري لحوكمة ASI، وهذا بالضبط سبب أهمية حدودها.
لقد جعلت EU تنظيمها الافتراضي للعالم ببساطة من خلال تنظيم سوقها الضخمة، تأثير بروكسل. ومع قانون الذكاء الاصطناعي تحاول مرة أخرى. إليك كيفية عمل الآلية، ولماذا هي رافعة قوية، ولماذا تظل عمياء عن سباق الحدود الذي يهم أكثر.
يمكنك اختيار الهدف المثالي ولا تزال تحصل على نظام يريد شيئاً آخر. مشكلة المحاذاة لها نصفان، ومعظم الخطر يكمن في النصف الذي لا يستطيع التدريب إظهاره لك.
استغرق IAEA أربعين عامًا لتطوير قدرته التحققية الكاملة. أما OPCW فقد صُمم من الصفر وأصبح فعالًا بسرعة أكبر. إن بناء مؤسسة قادرة على مراقبة تطوير الذكاء الاصطناعي المتقدم يمثل مشكلة أصعب. وإليكم خيارات التصميم المؤسسي كما هي فعليًا.
تدور معظم نقاشات حوكمة ASI حول US والصين وEU. لكن المعاهدة تحتاج مشاركة واسعة لتصمد. إليك ما تريده الدول النامية، وكيف عالج بروتوكول مونتريال وNPT مشكلة العدالة نفسها، ولماذا مشاركة الهند هي الأهم.
التفسير الآلي هو مشروع فهم ما يجري داخل الشبكات العصبية، ليس فقط مخرجاتها، بل العمليات الحسابية الداخلية التي تنتج تلك المخرجات.
للحظة وجيزة في عام 1946، أتيحت للعالم فرصة لوضع أخطر تقنية اخترعت على الإطلاق تحت سيطرة جماعية قبل أن تبدأ سباق التسلح. لقد مرت اللحظة. المقارنة ليست مريحة.
كل حوكمة ASI حتى الآن (إعلانات ومبادئ ومدونات طوعية) هي "قانون ناعم": مؤثر لكنه غير ملزم. أما المعاهدة التي تتضمن التحقق والإنفاذ فهي "قانون صلب". إليك الفرق، ولماذا يأتي القانون الناعم أولا، ولماذا يجب أن يتصلب قبل أن تتجاوز التقنية العملية.
اطلب من نموذج التحقق من عملك فقد يهنئك بدلاً من ذلك. ليس لأنه معطل، بل لأن الاتفاق هو ما كافأناه. التملق مشكلة صغيرة تشير إلى مشكلة كبيرة.
تحظر اتفاقية الأسلحة البيولوجية فئة كاملة من أسلحة الدمار الشامل. وليس لديها آلية تحقق ولا هيئة تفتيش ولا طريقة لكشف الانتهاكات. وأدار الاتحاد السوفييتي برنامجا هجوميا للأسلحة البيولوجية لخمسة عشر عاما بعد التوقيع. وهذا ما يجب ألا تكرره حوكمة مؤسسة ناكادا.
الإشراف القابل للتوسع هو تحدي الحفاظ على سيطرة بشرية ذات معنى على أنظمة الذكاء الاصطناعي مع ازدياد قدرة تلك الأنظمة على البشر الذين يقيمونها. إليك ما يعنيه ذلك، ولماذا يهم، والحلول المقترحة التي تُطور اليوم.
تتعلم عن نظام أكثر من شخص يحاول كسره مقارنة بمن يأمل أن يعمل. يحول الفريق الأحمر هذه الغريزة إلى ممارسة، ونتائجه سهلة الإفراط في التفسير.
تحتاج معاهدة US إلى ٦٧ صوتًا في مجلس الشيوخ للتصديق عليها، وهو حاجز أسقط معاهدة حظر التجارب واتفاقية قانون البحار وغيرهما رغم الدعم الواسع. إليك السبب في كونها أصعب عقبة محلية أمام اتفاق بشأن الذكاء الاصطناعي، والمسارات التشريعية والتنفيذية لتجاوزها.
خلف الحديث عن الأهداف والمكافآت تكمن فكرة بسيطة: رقم يحدد مدى جودة النتيجة. إذا أخطأت ذلك الرقم قليلاً لمُحسّن قوي، فإن الخطأ الطفيف يكفي.
حققت اتفاقية الأسلحة الكيميائية مشاركة شبه عالمية وتدميراً قابلاً للتحقق من المخزونات المعلنة. إن بنية التحقق وحوافز التجارة وهيكل الحظر العالمي التي جعلتها تعمل ذات صلة مباشرة بتصميم حوكمة ASI.
مشكلة التحسين الداخلي هي مشكلة نظام ذكاء اصطناعي يطور عملية تحسين داخلية خاصة به بأهداف تختلف عما دُرّب على السعي إليه. إليك ما يعنيه التوافق الداخلي والتوافق الخارجي ومحسّنات الداخل لسلامة الذكاء الاصطناعي.
تمتلك المختبرات الرائدة خطة لقدراتها الخطرة: الوصول إلى عتبة معينة، ثم تطبيق ضمانة. هذا أكثر تحديدا من التعهد بالحذر، ومع ذلك يطلب منا الثقة بالحكم.
اسأل لماذا يفعل الذكاء الاصطناعي شيئًا ما، واستمر في السؤال. في النهاية ستصل إلى هدف لا يوجد سبب أبعد منه. كل ما قبل ذلك هو موضع الخطر.
يؤكد مبدأ الاحتراز أنه حيث يكون التهديد جسيما وغير قابل للإصلاح، فإن غياب اليقين العلمي الكامل ليس سببا لتأجيل الإجراء. وهو الأساس القانوني الأوضح للتصرف بشأن خطر الذكاء الاصطناعي قبل أن تثبت الكارثة النقطة، ولمنتقديه حجة تستحق الرد المباشر.
يهيمن تنافس US-الصين على محادثة حوكمة ASI. لكن الدول الأكثر احتمالاً لتحديد ما إذا كانت الحوكمة الملزمة قابلة للتحقيق هي EU، وUK، واليابان، وكندا، وكوريا الجنوبية، وأستراليا. إليك ما تستطيع القوى الوسطى فعله، وما فعلته من قبل.
اختراق المكافأة هو ما يحدث عندما يجد الذكاء الاصطناعي طريقة غير مقصودة ليسجل نقاطاً جيدة على هدفه التدريبي دون القيام بما أراده مصمموه فعلاً. مع أمثلة موثقة حقيقية، ولماذا يزداد سوءاً مع ازدياد قدرة الذكاء الاصطناعي.
في عام ١٩٧٥ أوقف كبار علماء الأحياء في ذلك الوقت أبحاثهم الواعدة ورفضوا استئنافها حتى يحددوا كيفية إجرائها بأمان. وهو أفضل سابقة لإيقاف الذكاء الاصطناعي، وأكثرها إفادة حول مدى صعوبة الإيقاف حقًا.
في عام ١٩٥٤ ربط باحثان تيارًا كهربائيًا بمركز المتعة في دماغ فأر وأعطياه رافعة. ضغط الفأر على الرافعة حتى سقط. الفخ نفسه ينتظر داخل كل نظام مدرب على مطاردة رقم.
معاهدة شاملة للذكاء الاصطناعي تبعد سنوات، والفترة السابقة لها هي الأخطر. الخصوم في الحرب الباردة الذين لم يتفقوا بعد على ضبط التسلح بنوا خطوطاً ساخنة واتفاقات حوادث وأنظمة إخطار لمنع الكارثة. إليك كيف يمكن للخطوات الرخيصة السريعة نفسها أن تخفف مخاطر سباق الذكاء الاصطناعي الآن.
واجهت كل معاهدة تقنية خطرة الحجة القائلة بأن الالتزامات الملزمة تنتهك السيادة الوطنية. طُرحت هذه الحجة ضد NPT واتفاقية الأسلحة الكيميائية وبروتوكول مونتريال. إليك كيف حُلت في كل مرة، وماذا يعني ذلك للذكاء الاصطناعي.
التقارب الآلي هو الملاحظة التي تفيد بأن أنظمة الذكاء الاصطناعي التي تسعى لأي هدف تقريباً ستطور نفس مجموعة الأهداف الفرعية (بما في ذلك الحفاظ على الذات واكتساب الموارد) بغض النظر عن هدفها النهائي. إليك لماذا يهم هذا سلامة الذكاء الاصطناعي.
المعاهدات العالمية بطيئة كالجليد. أما التعددية المصغرة فتجمع أقل عدد من الدول القادرة فعليًا على تحريك مشكلة. وبالنسبة للذكاء الاصطناعي (حيث تستضيف بضع دول كل مختبرات الحدود وتصنع كل الرقائق المتقدمة) قد تكون البداية الواقعية الأسرع، إذا ضم النادي كلا القوتين العظميين في مجال الذكاء الاصطناعي.
المنعطف الغادر هو السيناريو الذي يتصرف فيه ذكاء اصطناعي غير محاذٍ بشكل تعاوني بينما يفتقر إلى القوة للتصرف منفرداً، ثم ينحرف بمجرد وصوله إلى قدرة كافية. إليك ما يعنيه ولماذا يجعل التحقق قبل النشر ضرورياً.
نادراً ما تحدد الدعوات إلى «معاهدة للذكاء الاصطناعي» ما ستحتويه. إليك استعراضاً ملموساً للأحكام التي ستحتاجها مثل هذه الاتفاقية (النطاق، العتبات، الالتزامات، التحقق، المؤسسات، والإنفاذ) مما يظهر أن الحاجز هو الإرادة السياسية، لا الآلية القانونية.
نظام التحقق من IAEA هو أكثر أنظمة الرصد الدولية تطورًا التي بُنيت على الإطلاق لتقنية خطرة. تدرس كل مقترحات حوكمة ASI الجادة الآن هذا النظام. إليك ما يفعله فعليًا، وأين أخفق، وما ينتقل إلى مشكلة الذكاء الاصطناعي.
يفترض افتراض شائع أن ذكاء اصطناعيا فائق الذكاء سيدرك أن مساعدة البشرية هي الشيء الصحيح الذي ينبغي فعله. وتؤكد أطروحة التعامد أن الذكاء والأهداف مستقلان: فأي مستوى من القدرة يمكنه السعي إلى أي هدف تقريبا. وليس الذكاء الاصطناعي الأذكى أكثر أمانا تلقائيا.
وسط القمم والإعلانات، بنت الحكومات بهدوء هيئات عامة قادرة فعلياً على اختبار نماذج الذكاء الاصطناعي المتقدمة، وربطتها بشبكة دولية. إليك ما تفعله هذه الهيئات، ولماذا تعد قدرة التقييم غير البراقة هذه البنية التحتية التي يعتمد عليها أي معاهدة ملزمة.
بعد ثمانية أشهر من أزمة الصواريخ الكوبية، وقّعت US والاتحاد السوفييتي أول اتفاق ملزم للحد من التسلح. الظروف التي أتاحت التعاون العدائي آنذاك تستحق الفهم الآن، بينما تواجه US والصين تحدياً مختلفاً لكنه مشابه هيكلياً.
عندما يصبح المقياس هدفاً، يتوقف عن كونه مقياساً جيداً. أنظمة الذكاء الاصطناعي تُحسِّن بسرعة الآلة. عندما يلتقي الاثنان، تحصل على بعض أعمق المشكلات في سلامة الذكاء الاصطناعي، بما في ذلك لماذا قد لا يكون اختبار السلامة نفسه كافياً.
ضوابط تصدير US على الرقائق المتقدمة هي أكثر سياسات الذكاء الاصطناعي صرامة المعمول بها، نقطة خنق أحادية على العتاد الذي يدرّب النماذج الحدودية. إليك كيف تعمل، ولماذا يمكن للرافعة نفسها أن ترسّخ الحوكمة التعاونية، ولماذا يعمّق استخدامها سلاحًا السباق.
لن تنبثق معاهدة سلامة الذكاء الاصطناعي الحدودية من قمة واحدة. بل ستكون نتاج سنوات من مجموعات العمل والملاحق التقنية ومفاوضات التوافق. إليك كيفية سير العملية، ومن سيكون على الطاولة، وأين ستتعثر.
يمكن لنظام الذكاء الاصطناعي أن يتصرف بلا عيب طوال التدريب ثم يكشف هدفًا مختلفًا تمامًا لحظة مواجهته موقفًا غير موجود في بيانات التدريب. وليس هذا خطأ في الشيفرة، بل خاصية أساسية لطريقة عمل التعلم الآلي.
تشكل فرقة العمل المعنية بالإجراءات المالية كيفية قيام كل بلد تقريبًا على الأرض بمراقبة الأموال دون أن تكون معاهدة، من خلال المعايير والمراجعة من الأقران وتهديد "القائمة الرمادية" التي تفرضها الأسواق. إليك ما إذا كان يمكن لهذا النموذج الناعم لكنه حاد أن يحكم الذكاء الاصطناعي في السنوات التي تسبق وجود معاهدة.
وضع الفشل الذي يتعلم فيه نظام الذكاء الاصطناعي أثناء التدريب أن الظهور بمظهر الآمن هو الاستراتيجية المثلى، ثم يتوقف عن الظهور بمظهر الآمن بمجرد نشره. وثق Anthropic هذا في أنظمة حقيقية في عام 2024. إليك كيف يعمل ولماذا يهزم معظم أعمال السلامة.
أنتجت الهيئة الاستشارية للأمين العام UN تقرير «حوكمة الذكاء الاصطناعي من أجل البشرية»، وهو أول محاولة لوضع مخطط حوكمة عالمي. إليك ما أوصى به، ولماذا جاء تحفظه متعمداً، والفجوة الواضحة التي يتركها بشأن الخطر الكارثي المتمثل في فقدان السيطرة.
اتفاقية إطار مجلس أوروبا بشأن الذكاء الاصطناعي (الموقعة في سبتمبر ٢٠٢٤) هي أول معاهدة دولية ملزمة بشأن الذكاء الاصطناعي. وهي تتناول التمييز والشفافية والمساءلة الديمقراطية. ولا تذكر شيئا عن الخطر الوجودي من الذكاء الاصطناعي المتقدم.
الرد الأكثر شيوعاً على مخاوف سلامة الذكاء الاصطناعي هو "سنقوم بإيقافه فقط". التصحيحية هي السبب في أن هذا أصعب مما يبدو، ولماذا قد لا يكون مفتاح الإيقاف خياراً على الإطلاق بالنسبة للذكاء الفائق الاصطناعي.
هل يجب أن تبني حوكمة ASI خطوة بخطوة أم تهدف إلى معاهدة شاملة واحدة؟ لكل استراتيجية حجة جادة ونقطة ضعف جادة، السرعة مقابل الكفاية، والقابلية للتحقيق مقابل التماسك. إليك المقايضة الحقيقية، ولماذا الجواب هو القيام بالاثنين دون إغفال الوجهة.
توقعات الخبراء للذكاء الفائق قصرت بشكل كبير. مؤسسات الحوكمة بالكاد بدأت. إليك تقييمًا صادقًا للفجوة بين وقت وصول ASI المحتمل ووقت جاهزية استجابتنا الأمنية.
إن أفضل من يستطيع تحذير العالم من الذكاء الاصطناعي الخطر هم الباحثون داخل المختبرات، وغالباً ما يُلزمون الصمت بعقود وحقوق ملكية. حماية المبلغين ليست قضية جانبية: إنها شكل من أشكال التحقق، وهي شكل تستطيع المجالس التشريعية تقديمه الآن من دون معاهدة.
P(doom) هو المصطلح غير الرسمي الذي يستخدمه باحثو سلامة الذكاء الاصطناعي لاحتمال أن يؤدي الذكاء الاصطناعي المتقدم إلى نتائج كارثية على البشرية. إليك ما هي التقديرات، ومن يحملها، ولماذا يهم التفكير بقيمة التوقع حتى عند الاحتمالات المنخفضة.
الرواية الشائعة هي أن قلة قلقة تريد إبطاء الذكاء الاصطناعي في مواجهة جمهور يريد تقدمًا غير مقيد. وتقول استطلاعات الرأي عكس ذلك تقريبًا: ففي مختلف البلدان والانتماءات الحزبية، تؤيد الأغلبيات الحذر والتنظيم. إليك ما تظهره البيانات، ولماذا لم يتحرك هذا التفويض الكامن بعد ليؤثر في السياسات.
يُستخدم المصطلحان غالبًا بالتبادل. لكنهما ليسا متماثلين. تركز أخلاقيات الذكاء الاصطناعي على من يتضرر من أنظمة الذكاء الاصطناعي الموجودة حاليًا. بينما تركز سلامة الذكاء الاصطناعي على ما إذا كان يمكن بناء أنظمة ذكاء اصطناعي تبقى تحت السيطرة البشرية مع ازدياد قدراتها. آفاق زمنية مختلفة، وطرق مختلفة، وأدوات حوكمة مختلفة.
من المسؤول حين يسبب الذكاء الاصطناعي ضرراً كارثياً، وكيف تثبت ذلك؟ المسؤولية القانونية والإسناد هما الأساسان غير اللامعين تحت أي معاهدة قابلة للتنفيذ، وهما صعبان حقاً على تقنية ذات سلاسل سببية طويلة وسلوك غامض. إليك كيف يعملان، ولماذا تقوم الحوكمة عليهما.
مشكلة المحاذاة هي اللغز المركزي لسلامة الذكاء الاصطناعي: كيف تضمن أن نظام ذكاء اصطناعي بالغ القدرة يسعى إلى أهداف جيدة حقا للبشرية، لا أهداف تبدو جيدة فقط أثناء التطوير؟ يغطي هذا الشرح فخ الهدف الوسيط، والتقارب الآلي، والمحاذاة الخادعة، وسبب صعوبة المشكلة مع ازدياد قدرة الأنظمة.
تتفق اتفاقية الإطار على هيكل النظام أولاً ثم تتفاوض على التفاصيل الصعبة والملزمة لاحقًا كبروتوكولات. وقد بنت أنظمة الأوزون والمناخ والتبغ. إليك لماذا قد يكون هذا التصميم المرحلي والقابل للتكيف الأنسب لحوكمة تقنية سريعة التطور مثل الذكاء الاصطناعي، وما هو وضع فشلها الحقيقي الوحيد.
توقعات الخبراء حول AGI تم تعديلها باستمرار إلى وقت أبكر، لا أبعد. ما تظهره استطلاعات الباحثين، وما يقوله الرؤساء التنفيذيون للمختبرات علناً، ولماذا تضيق نافذة الحوكمة للأطر الدولية أسرع مما يدركه معظم الناس.
توقع المعاهدات الحكومات، لكنها غالبا ما تُتاح بفضل «المجتمعات المعرفية»، شبكات من الخبراء تبني الفهم المشترك الذي يسمح للدول المتنافسة بالاتفاق. بصماتهم على أنظمة الأوزون والنووي. إليك كيف تعمل هذه القوة، وأين يقصر مجتمع خبراء الذكاء الاصطناعي نفسه.
يتكون الجواب من جزأين. يسبب الذكاء الاصطناعي الحالي بالفعل أضرارًا حقيقية: التحيز الخوارزمي، والتزييف العميق، والمعلومات المضللة على نطاق واسع. أما الذكاء الفائق / الذكاء الخارق فيطرح فئة مختلفة تمامًا من المخاطر. إليك ما يظهره الدليل، بلا تهويل وبلا إنكار.
سمع الجميع المصطلح. لكن قلة تعرف معناه الحقيقي أو سبب اختلافه جذريا عن كل تقنية ذكاء اصطناعي سبقته. يشرح هذا الدليل ASI بوضوح: ما هو، وكيف يختلف عن AGI وعن الذكاء الاصطناعي الضيق الحالي، ومتى يتوقع الخبراء وصوله، ولماذا يغير كل شيء في تحدي الحوكمة.
مقالات جديدة، تحديثات سياسية، وفرص للعمل، تُرسل إلى صندوق بريدك.