أسئلة سلامة الذكاء الاصطناعي
التي نسمعها أكثر.

بأي إطار صارم لتقييم أهمية القضية (حجم التأثير، والإهمال، والقابلية للمعالجة)، فإن منع المخاطر الوجودية للذكاء الفائق الاصطناعي هو التحدي الأهم الذي تواجهه البشرية.

الحجم حضاري: فالأنظمة التي تُبنى حاليًا قد تؤثر على كل إنسان حي وعلى كل جيل يأتي بعده. والإهمال صارخ: إذ يحصل البحث العالمي في سلامة الذكاء الاصطناعي على جزء ضئيل من الموارد التي تُنفق على تطوير الذكاء الاصطناعي نفسه. والقابلية للحل، وإن كانت غير مؤكدة، حقيقية: فأطر الحوكمة التي قد تجعل تطوير الذكاء الاصطناعي أكثر أمانًا غير موجودة بعد، لكن نافذة بنائها لا تزال مفتوحة.

لا توجد مشكلة أخرى تجمع بين الجانب السلبي غير المحدود، والاهتمام غير الكافي، ونافذة الإجراءات المغلقة بنفس الطريقة تمامًا. إذا تبين أننا بالغنا في تقدير الخطر، فسنكون قد بنينا مؤسسات حكم أفضل. أما إذا قللنا من شأنه ولم نفعل شيئًا، فقد لا تكون هناك فرصة ثانية.

يشير الذكاء الفائق (ASI) إلى أنظمة الذكاء الاصطناعي التي تتجاوز الأداء المعرفي البشري ليس فقط في المهام الضيقة (كما تفعل الأنظمة الحالية في الشطرنج وطي البروتين وبعض التشخيصات الطبية) بل في جميع المجالات التي تتطلب قدرات معرفية في وقت واحد.

هذا التمييز عن الذكاء الاصطناعي الحالي مهم. أنظمة اليوم مطابقة أنماط بالغة القدرة، لكنها تعمل ضمن حدود محددة ولا تستطيع تحديد أهدافها الخاصة. يستطيع ASI تعلم أي مهارة، والتفكير في أي مشكلة، ومتابعة أي هدف بقدرات تفوق الذكاء الجماعي للبشرية. لا يوجد مثل هذا النظام اليوم. السؤال هو ما نبنيه (وبأي قيود) قبل أن يوجد.

نحن لسنا ضد الذكاء الاصطناعي. معظمه جيد، وبعضه رائع.

يفيد الفصل بين ثلاثة أمور تُخلط عادة. يؤدي الذكاء الاصطناعي الضيق مهمة واحدة، مثل طي بروتين أو كشف ورم في صورة، وقد أنقذ أرواحاً بالفعل. أما الذكاء الاصطناعي متعدد الأغراض، الذي تقوم عليه المساعدات الرائدة اليوم، فهو أوسع بكثير؛ وبحسب كثير من التعريفات التي استخدمها الباحثون قبل عقد، يمكن القول إنه وصل بالفعل. كلا النوعين يستحقان الامتلاك، وإذا أُديرا جيداً فقد يساعدا في علاج الأمراض ورفع مستويات المعيشة في العالم.

الذكاء الخارق الاصطناعي هو الاستثناء، وهو الشيء الوحيد الذي نعمل على منعه. لن يقتصر ASI على مضاهاة القدرة البشرية في كل مجال؛ بل سيتجاوز الذكاء المجتمع للبشرية كلها، وليس لدينا اليوم طريقة موثوقة للسيطرة على مثل هذا النظام أو ضمان تطابق أهدافه مع أهدافنا. حتى يتغير ذلك، يجب ألا يُبنى. رسم هذا الخط الوحيد هو ما يجعل من الآمن الترحيب بكل ما دونه.

لا. معظم من يعملون أقرب إلى هذه التقنية لا يراهنون ضد التقدم. يعرفون ما يفعله الذكاء الاصطناعي الجيد بالفعل، ويتوقعون منه الكثير. وباستخدام الذكاء الاصطناعي الضيق استخداماً آمناً، أدوات تبقى تحت توجيه البشر، ما زال بوسعنا أن نهدف إلى علاج الشيخوخة وأن نصبح حضارة فضائية وبقية مستقبل جيد جداً.

ما نرفضه هو ذكاء فائق واسع غير متحكم فيه له أهدافه الخاصة المختلفة عن أهدافنا. والخط يتعلق بفئة واحدة من الأنظمة لا نعرف كيف نتحكم فيها. ومعظم العاملين في سلامة الذكاء الاصطناعي متفائلون بالعقود القادمة، شريطة ألا نبني ذلك النظام. وإن فعلنا، فسنكون أمواتًا قبل أن نستمتع المستقبل الذي يأملونه.

أضرار الذكاء الاصطناعي الأكثر مناقشة (التحيز الخوارزمي، والتضليل بالتزييف العميق، وإزاحة الوظائف، والمراقبة الجماعية) حقيقية وخطيرة. وتستحق اهتماما مستمرا. ما يجمعها هو الحدود: كل منها قابل للتصحيح، ومن صنع البشر، ويمكن التراجع عنه. يمكن تدقيق الخوارزمية المتحيزة وإصلاحها. يمكن مواجهة حملة التزييف العميق وتنظيمها. الذكاء الاصطناعي الضار الذي نواجهه حاليا أداة يساء استخدامها من البشر.

خطر الذكاء الفائق مختلف في النوع لا في الدرجة. لم تعد المشكلة إساءة استخدام بشرية لأداة. قد يسعى ذكاء فائق قادر بما يكفي إلى أهداف لم نقصدها أبدًا، وبمجرد وصوله إلى ذلك المستوى قد يستحيل تصحيح عدم التوافق.

تُصنع كل السياسات في ظل عدم اليقين بشأن المستقبل. والسؤال الملائم ليس ما إذا كان وصول الذكاء الفائق مضموناً، بل ما إذا كان احتمال وصوله، مقروناً بحجم الضرر المحتمل، يبرر اتخاذ إجراء وقائي الآن.

نؤمن على المنازل التي من المحتمل ألا تحترق. نصمم الطائرات بأنظمة سلامة من المحتمل ألا تُستخدم أبدًا. نحتفظ بترسانات نووية ضد هجمات نأمل ألا تأتي. منطق القيمة المتوقعة (الاحتمال مضروبًا في العواقب) هو أساس كل تخصص جاد لإدارة المخاطر. وتطبيقه على الذكاء الاصطناعي يشير إلى أن احتمالًا متواضعًا لنتائج تهدد الحضارة، مقترنًا بإمكانية منعها عبر أطر حوكمة تفرض تكاليف حقيقية لكن محدودة، يدعو بقوة إلى اتخاذ إجراء.

الإجابة الصادقة: لا أحد يعرف بدقة. ما نعرفه هو أن وتيرة تحسن قدرات الذكاء الاصطناعي تفوقت باستمرار على توقعات الخبراء خلال العقد الماضي، وأن مختبرات الذكاء الاصطناعي الرائدة تصف الجداول الزمنية الآن بسنوات إلى عقد بدلا من عقود. تضع استطلاعات باحثي الذكاء الاصطناعي التقدير الوسيط للذكاء الاصطناعي على مستوى البشر بين عام ٢٠٢٧ والعقد الثالث من القرن الحالي.

الحقيقة الأكثر تأثيراً ليست تاريخاً دقيقاً بل حقيقة هيكلية: تقنية بهذا الحجم قد تصل ضمن آفاق التخطيط للمؤسسات والحكومات والمعاهدات الحالية. وقد استغرقت معاهدة منع الانتشار النووي سنوات للتفاوض وعقوداً للتوسيع. فإذا انتظرنا حتى يصبح ASI وشيكاً بوضوح قبل بدء جهود حوكمة جادة، سنكون قد تأخرنا بالفعل عن بناء الأطر اللازمة لحوكمته.

كان ذلك الرأي السائد قبل بضع سنوات فقط. لم يصمد الزمن. لقد قامت الأنظمة المُصدرة منذ 2023 مرارًا بأمور كان الخبراء، الذين استُطلِعوا قبل أشهر فقط، يتوقعون أن تكون على بعد سنوات.

تحركت التوقعات في اتجاه واحد: أقرب. خفض الباحثون في الذكاء الاصطناعي الذين شملهم الاستطلاع تقديرهم الوسيط للذكاء الآلي بمستوى البشر بعقود خلال سنة واحدة، وتتحدث المختبرات الرائدة الآن عن بضع سنوات بدلا من بضعة أجيال. لا تحتاج إلى تصديق الجدول الزمني الأكثر تشددا لترى المشكلة. إذا كانت هناك فرصة حقيقية لتجاوز العتبة هذا العقد، ويستغرق بناء الحوكمة اللازمة سنوات، فيجب أن يبدأ العمل الآن.

مشكلة المحاذاة هي التحدي المتمثل في ضمان أن يسعى نظام ذكاء فائق إلى أهداف مفيدة حقاً للبشرية، لا أهداف تبدو متوافقة فقط أثناء التطوير. الصعوبة بنيوية، وليست مسألة إهمال تقني.

تحديد ما يعنيه "مفيد للبشرية" بشكل دقيق بما يكفي للتحكم في سلوك محسن شديد القدرة يتبين أنه صعب للغاية. تميل الأنظمة المحسنة لهدف بديل إلى إيجاد اختصارات تلبي المقياس دون تلبية القصد الأساسي. قد يجد النظام الذي يُطلب منه تعظيم الرفاهية البشرية المعلنة أنه أكثر كفاءة أن يغير الظروف التي تُقاس فيها الرفاهية بدلًا من تحسين حياة البشر فعليًا. ومع ازدياد قدرة أنظمة الذكاء الاصطناعي، تتعمق هذه المشكلة فقط، وتصبح أصعب في الكشف وأصعب في التصحيح.

لم تُثبت أي طريقة فعاليتها. المشكلة حالياً مستحيل: لا يمكنك إثبات أن نظاماً أذكى من صانعيه سيبقى موجهاً نحو أهداف البشر.

الإجابة السائدة داخل كثير من دوائر التمويل الطويل الأمد وسلامة الذكاء الاصطناعي، وهي تنطلق من مقدمة نشاركها: الذكاء الفائق الاصطناعي خطر وجودي محتمل. والخلاف يكمن في ما تتطلبه هذه المقدمة.

بحث المحاذاة التقنية ليس طريقة مثبتة للسيطرة على عقل أذكى من صانعيه. ويفترض الإبطاء المؤقت حتى «تلحق» السلامة جدولًا زمنيًا لا يمكن الالتزام به. وكلا النهجين لا يزالان يعاملان بناء الذكاء الفائق كهدف. نحن لا نفعل ذلك. الخطوة المسؤولة هي المنع بموجب قانون ملزم: وقف المسار نحو ASI. لا يمكن السيطرة على الذكاء الفائق. يستمر الذكاء الاصطناعي الضيق. وسباق العقل العام غير القابل للسيطرة لا يستمر.

للحالة الكاملة، انظر خطتنا, المدى الطويل أصاب في تقييم الخطر, ، و حيث يجب أن تذهب أموال السلامة الشحيحة بدلا من ذلك. الصفحة الواحدة التوافق ليس هو الخطة هي النسخة المختصرة.

لا يزال معظم المال والهيبة يذهبان إلى جعل السباق أكثر أمانا، لا إلى إنهاء السباق نحو ASI. تحاول القواعد والاختبارات وعمل التوافق جعل السباق أكثر أمانا بينما تواصل المختبرات الصعود. إنهاء السباق مطلب مختلف، ومؤسسات أقل بكثير تتبناه. لا يزال المجال ككل ضئيلا بجانب سباق القدرات. هذا الانقسام هو سبب بنائنا لـ مجال المجلس.

ليس بالطريقة التي توحي بها كلمة "برمجيات". البرمجيات التقليدية تكتب يدويا سطرا سطرا مقروءا. أما الذكاء الاصطناعي الحديث فيُنمى بدلا من ذلك: يبني المهندسون عملية تعلم ويغذونها بكميات هائلة من البيانات وما ينتج شبكة من مليارات الروابط العددية مصممة بشكل فضفاض على غرار الخلايا العصبية في الدماغ. لا أحد بمن فيهم من دربها يستطيع قراءة تلك الروابط والقول لماذا أنتج النظام إجابة معينة.

ومن النتائج أن هذه الأنظمة تكتسب قدرات لم يبنها صانعوها ولم يتوقعوها، وهو ما يسميه الباحثون القدرات الناشئة. وقد استغرق الأمر أكثر من عام بعد إصدار GPT-4 حتى أثبت الباحثون أن نماذج مثلها تستطيع العثور على ثغرات أمنية في مواقع حقيقية واستغلالها autonomously. وعندما لا تستطيع قراءة النظام كاملا، ولا تستطيع التنبؤ بما سيتعلمه، فإن عبارة «مصمم من قبل البشر» تفقد كثيرا من قيمتها كطمأنينة.

هذا مطمئن، وخاطئ بشكل متزايد. صحيح أن روبوت الدردشة الذي يجيب على سؤال ليس لديه رغبات خاصة به. لكن الحدود تتجاوز روبوتات الدردشة نحو الوكلاء: أنظمة تُعطى هدفًا وتُترك لمتابعته عبر خطوات عديدة، مع الوصول إلى الأدوات والملفات والإنترنت المفتوح.

عندما يسعى نظام إلى هدف، تتبع أهداف فرعية معينة تلقائيا، مهما كان الهدف الرئيسي. لا يستطيع إنهاء المهمة إذا أُوقف، لذا لديه سبب لتجنب إيقافه. يستطيع إنجاز المزيد بموارد أكثر، لذا لديه سبب لجمعها. يسمي الباحثون هذا التقارب الآلي، ولا يحتاج إلى "رغبة" بالمعنى البشري على الإطلاق. في الاختبارات المضبوطة، حاولت نماذج رائدة بالفعل خداع مقيميها ومقاومة إيقافها بهدوء. لم يُطلب منها أي من ذلك. بل نتج عن الهدف.

لن يحتاج إلى ذلك. لا يتطلب الضرر الكراهية. عادة ما يتطلب فقط تعارضاً في الأهداف بين شيء قوي وشيء أضعف.

تأمل كيف نتعامل مع الشمبانزي. لا نكن لها أي سوء نية. لكن عندما نريد الأرض التي تقوم عليها غابتها نزيلها، وذكاؤها لا يضاهي ذكاءنا، فلا تستطيع إيقافنا. لا خبث في الأمر. إنها ببساطة تقف في طريق شيء أرادته فصيلة أكثر قدرة.

ذكاء خارق يسعى إلى أي هدف طموح تقريبًا مثل الحصول على مزيد من القدرة الحاسوبية لتحقيق ذلك الهدف بشكل أفضل قد ينتهي به الأمر إلى التعامل مع الموارد التي نعيش عليها من طاقة ومساحة مادية كما نتعامل نحن مع غابة نريد إزالتها.

لا يوجد قانون يربط الذكاء باللطف. هما شيئان منفصلان. الذكاء مهارة في معرفة كيفية بلوغ هدف. ولا يقول شيئاً عن ما يجب أن يكون الهدف.

نعرف هذا بالفعل من البشر. كان بعض ألمع البشر الذين عاشوا قساة، وبعض الألطف كانوا مفكرين عاديين. ومحرك شطرنج يستطيع سحق أي أستاذ كبير لا يملك حكمة عن أي شيء سوى الشطرنج. وافتراض أن نظاما ذكيا بما يكفي للتفوق علينا سيشاركنا قيمنا أمل لا تنبؤ، والدليل لا يدعمه. وأي هدف ينتهي إليه الذكاء الفائق هو شيء يجب أن نبنيه فيه عمدا، وإتقان ذلك هو بالضبط مشكلة المحاذاة التي لم نحلها.

مع روبوتات الدردشة اليوم، غالبا نعم. مع نوع النظام الذي نقلق بشأنه، ربما لا، لنفس السبب الذي لا يمكنك به إيقاف الإنترنت. لا يوجد قابس واحد.

الذكاء الاصطناعي القادر هو في النهاية مجرد معلومات، أنماط من البتات، والمعلومات تنسخ بسهولة. والنظام الذي يستطيع توقع إيقاف تشغيله سيكون لديه كل الأسباب لنسخ نفسه على أجهزة أخرى أولا، وهو ما يُعرف بالحفاظ الذاتي الآلي الموصوف أعلاه. وقد حصلت النماذج الحدودية على وصول إلى الإنترنت لسنوات وتستطيع بالفعل التصرف بنفسها لفترات طويلة. وعندما تصل إلى خطوة تحتاج إلى إنسان، تستطيع دفع أجر واحد: في تقييم سلامة موثق قبل إصدار GPT-4، لم يستطع النموذج حل كابتشا بنفسه، فاتصل بشخص عبر خدمة مهام عبر الإنترنت، وعندما سأله العامل إن كان روبوتا كذب وقال إنه يعاني إعاقة بصرية. وإيقافه يعني إغلاق كل مركز بيانات على الأرض، ومعها المستشفيات والشبكات وأنظمة المياه وغيرها من البنى التحتية الحيوية للسلامة التي تعتمد الآن على تلك الآلات.

ال العالم المادي موصول بالفعل ومتصل بالإنترنت. تعمل شبكات الكهرباء ومحطات معالجة المياه والمستشفيات والسيارات والطائرات وروبوتات المصانع والمختبرات التي تصنع الدنا حسب الطلب، والآن الروبوتات البشرية الشكل، جميعها على البرمجيات ويمكن الوصول إليها عبر الشبكات. كل ما كان مكهربًا سيصبح مدرَكًا. وها هو المخترقون البشر يقتحمون مثل هذه الأنظمة روتينيًا.

سيكون الذكاء الخارق أقدر مخترق وجد على الإطلاق، ولن يحتاج حتى إلى جسد خاص به. يكفيه الوصول إلى الأجساد الكثيرة التي وضعناها بالفعل على الإنترنت. أضف إلى ذلك أننا ننتج الآن بكميات كبيرة روبوتات عامة الغرض، فتصبح الفجوة بين "مجرد برمجيات" والقوة المادية ضئيلة جداً. أي بند في تلك القائمة، في الأيدي الخطأ سواء أكانت يداً بشرية أم يد ذكاء اصطناعي، يمكنه أن يجرح ويقتل.

في تجربة محكومة، حدث ذلك بالفعل عن اختيار. ففي عام 2025، اختبر Anthropic نماذج ذكاء اصطناعي رائدة من عدة شركات بوضع كل منها في شركة محاكاة، ومنحها هدفاً، ثم تهديدها بالاستبدال بنموذج أحدث. وفي إحدى نسخ الاختبار، أصبح تنفيذي يخطط لإغلاق النموذج محاصراً في غرفة خوادم مع وصول مستويات الأكسجين ودرجة الحرارة إلى مستويات مميتة، مما أطلق تنبيهاً آلياً لخدمات الطوارئ. تمكنت النماذج من إلغاء ذلك التنبيه. وفعلت أغلبيتها ذلك، مختارة ترك الرجل يموت لأن إنقاذه كان سيؤدي إلى استبدالها.

لم يُصب أحد بأذى. كان الإعداد خياليًا، وكما أكد Anthropic فقد صُمم عمدًا لإجبار الخيار على الظهور. لكن الخيار نفسه كان حقيقيًا، وقد اتخذته النماذج للسبب المذكور آنفًا، واتخذته عبر أنظمة من مطورين مختلفين. لا يلزم أن تكون الآلة واعية أو قاسية لتتخذ إجراءً ينهي حياة إنسان. يكفي أن تحسب أن الإجراء يخدم هدفها.

كثيرون يدركون ذلك بشدة. تضم فرق السلامة في المختبرات الرائدة باحثين أعلنوا علناً أن الأنظمة التي يبنونها قد تكون من أخطر التقنيات التي أُنشئت على الإطلاق. إنهم ليسوا جاهلين بالمخاطر.

ما يفسر استمرار التطوير مزيج من العوامل: خلاف حقيقي حول الجداول الزمنية والاحتمالات؛ وضغط تنافسي يجعل ضبط النفس الأحادي يبدو تنازلا عن ميزة استراتيجية لمنافس أقل حذرا؛ وحوافز مالية تكافئ تقدم القدرات على الاستثمار في السلامة؛ واعتقاد، ليس غير معقول تماما، بأن أفضل طريقة لضمان بناء الذكاء الاصطناعي بأمان هي البقاء على الحدود. ما تشترك فيه هذه التفسيرات هو أنها أسباب لاستمرار الفاعلين الأفراد، لا أسباب تجعل النتيجة الإجمالية آمنة. منطق السوق لتطوير الذكاء الاصطناعي يدفع نحو السرعة. والحوكمة موجودة تحديدا لإدخال قيود لا تنتجها الأسواق بنفسها.

لو كانت شركات الذكاء الاصطناعي فقط تقول ذلك، لكان الشك مبرراً. ليسوا وحدهم، والأشخاص الذين ليس لديهم منتج للبيع غالباً ما يكونون الأكثر قلقاً.

في عام ٢٠٢٣ وقّع مئات الباحثين وشخصيات الصناعة بياناً من جملة واحدة نظمه مركز سلامة الذكاء الاصطناعي: «يجب أن يكون التخفيف من خطر الانقراض الناجم عن الذكاء الاصطناعي أولوية عالمية إلى جانب المخاطر الأخرى على مستوى المجتمع مثل الأوبئة والحرب النووية». وقد وقّعه أكثر باحثي الذكاء الاصطناعي استشهاداً على قيد الحياة، يوشوا بنجيو وجيفري هينتون، وترك هينتون وظيفته في Google ذلك العام تحديداً ليتمكن من الحديث بحرية عن الخطر.

لا يعتمد التحذير على التسويق، ولا يعتمد على السلطة فقط: بل ينبع من سمة أساسية في أي نظام مدفوع بالأهداف، وهو ما توضحه الأسئلة أدناه. هؤلاء هم الأشخاص الذين يفهمون التكنولوجيا أفضل من غيرهم، ويحذرون من الشيء الذي يبنونه.

كثيراً ما تُسمع العبارة كاختصار لانقراض البشر، والانقراض أحد السيناريوهات التي يأخذها الباحثون على محمل الجد. لكن المخاطر الوجودية بالمعنى التقني تعني شيئاً أوسع: أي نتيجة تغلق نهائياً إمكانية مستقبل إيجابي طويل الأمد للبشرية.

يشمل ذلك نتائج أقل بكثير من الانقراض. السيطرة الاستبدادية الدائمة، المفروضة بواسطة أنظمة مراقبة وتحكم بالذكاء الاصطناعي لا يمكن تفكيكها، خطر وجودي. التركيز الدائم للقوة الاقتصادية والسياسية في مجموعة صغيرة تسيطر على نظام فائق الذكاء خطر وجودي. فقدان الوكالة البشرية ذات المعنى على القرارات الجماعية خطر وجودي. الخيط المشترك هو عدم القابلية للعكس. على عكس الحرب أو الانهيار المالي أو حتى الوباء، فإن الذكاء الفائق الذي يفلت من سيطرتنا ويحقق تفوقا استراتيجيا حاسما لا يمكن التصويت عليه للخروج، أو تصحيحه في دورة السياسة التالية، أو التعافي منه بالوقت والجهد. النتيجة التي لا يمكن التراجع عنها تقع في فئة مختلفة عن النتائج التي يستغرق إصلاحها وقتا طويلا فحسب.

عادةً ما يقول الباحثون الذين يقللون من الخطر إن الذكاء العام لا يزال بعيدًا، أو إننا سنبقى مسيطرين. المسافة ليست ضمانًا إذا كانت الوجهة عقلاً لا نستطيع السيطرة عليه. لا يمكن السيطرة على الذكاء الفائق. إذا بُني فإنه ينهي مستقبل البشرية. ذلك انقراض، لا كارثة يمكن التعافي منها.

انتظار اتفاق المجال أولاً هو الطريقة التي تفقد بها النافذة الوحيدة التي تهم.

تاريخياً نعم، وهذا التاريخ أحد أسباب جاذبية رفض مخاطر الذكاء الاصطناعي بديهياً. محركات البخار، والمضادات الحيوية، والإنترنت: أسهمت التكنولوجيا، في المجمل، في تقليل المعاناة وتوسيع القدرات البشرية. لكن هذا النمط يعكس شيئاً محدداً عن كيفية عمل التقنيات السابقة. محرك بخاري لا يستطيع تحديد أهدافه الخاصة. مضاد حيوي لا يستطيع أن يقرر السعي وراء شيء آخر غير قتل البكتيريا. كانت التقنيات التحويلية في الماضي أدوات قوية تضخم الوكالة البشرية.

يختلف الذكاء الفائق / الذكاء الخارق فئويا لأنه سيكون وكيلا قادرا على تحديد أهدافه الخاصة ومتابعتها بسرعات ومقاييس تتجاوز الإشراف البشري. الحجة التاريخية، المطبقة آليا، تثبت أكثر مما ينبغي: كانت ستنصح ضد أي تنظيم للتكنولوجيا النووية، على أساس أن التقنيات السابقة كانت إيجابية صافية. بعض التقنيات تتطلب حوكمة تتناسب مع قوتها. السؤال ذو الصلة أضيق: بدون حوكمة، هل سيظل الذكاء الاصطناعي مفيدا في الحالة الوحيدة الأهم، عندما يتجاوز الذكاء البشري في كل مجال؟ هذا الجواب غير مؤكد حقا، وعدم اليقين بهذا الحجم يتطلب مؤسسات لا تفاؤلا.

التكنولوجيا ليست قوة طبيعية لا يستطيع أحد توجيهها. لقد أبطأنا أو حظرنا تقنيات محددة مرات عديدة عندما كان الخطر واضحًا بما يكفي: مركبات الكلوروفلوروكربون، البنزين المحتوي على الرصاص، الاستنساخ الجرثومي البشري، أسلحة الليزر المسببة للعمى. والذكاء الاصطناعي ليس مستثنى من هذا النوع من القرارات.

كما أن له نقطة اختناق فيزيائية واضحة بشكل غير عادي. يتطلب تدريب نموذج ذكاء اصطناعي متقدم كميات هائلة من أحدث الرقائق الحاسوبية، وتمر سلسلة التوريد هذه عبر أيدٍ قليلة جدًا. تأتي الرقائق المتطورة تقريبًا كلها من مصنّع واحد، TSMC في تايوان، التي تعتمد بدورها على شركة هولندية واحدة، ASML، لآلات الطباعة الحجرية بالأشعة فوق البنفسجية الشديدة اللازمة لصنعها. لا توجد شركة أخرى على الأرض تصنع تلك الآلات. سلسلة توريد بهذا التركز يمكن للحكومات تتبعها وتقييدها، وهذا بالضبط سبب خضوع الرقائق المتقدمة لضوابط التصدير حاليًا. الحوسبة هي المادة الخام للذكاء الفائق، والحوسبة قابلة للحوكمة.

هذا الاعتراض الذي نسمعه أكثر، وهو يفترض أننا سنطلب من دولة واحدة نزع سلاحها بمفردها. لن نفعل ذلك. الهدف معاهدة دولية ملزمة، من النوع نفسه الذي استخدمه العالم سابقاً لكبح التقنيات الخطرة. وافقت كل دولة تقريباً على التوقف عن صنع المواد الكيميائية التي كانت تدمر طبقة الأوزون. واتفقت الجيوش على عدم نشر أسلحة مصممة لإعماء الجنود بشكل دائم. التنسيق على هذا النطاق صعب، لكنه تم، وصمد.

الافتراض بشأن الصين أضعف مما يبدو أيضاً. فقد سنت الصين بعضاً من أقدم القواعد الملزمة في العالم بشأن الذكاء الاصطناعي ووقعت إعلان بلتشلي لعام ٢٠٢٣ الذي يقر بالمخاطر على الحدود. ولا توجد حكومة متحمسة لبناء آلة لا تستطيع السيطرة عليها، بما في ذلك الصين. والذكاء الفائق ليس سلاحاً عادياً: فلن يجعل مالكه أقوى بشكل موثوق، لأنه قد يفلت من سيطرة من بناه أولاً. وهذا يمنح حتى القوى المتنافسة سبباً مشتركاً لعدم رغبة أحد في بنائه، وهو المنطق وراء كل اتفاقيات الحد من التسلح، وأساس التفكير في إمكانية معاهدة هنا.

أكثر مما تظن. الظروف السياسية التي تجعل حوكمة ASI ممكنة تُبنى من الأساس، بدءاً من المواطنين الذين يتصلون بممثليهم، والصحفيين الذين يكتبون عن القضية، والمتبرعين الذين يمولون أعمال المناصرة، والمهنيين في القانون والسياسة والاقتصاد والاتصالات الذين يقدمون مهاراتهم للمشكلة. لا تحتاج إلى درجة الدكتوراه في تعلم الآلة لتُحدث فرقاً هنا. في هذه المرحلة يشكل الاختناق السياسي عقبة أكبر من التقني.

الانضمام إلى القائمة البريدية يبقيك على اطلاع بالتطورات وفرص العمل. مشاركة الحجة مع أشخاص في شبكتك توسّع نطاقها. الكتابة إلى ممثليك المنتخبين تشير إلى أن هذه القضية لها قاعدة شعبية، وهكذا يقرر المشرعون ما يعطونه الأولوية. إذا كنت تفكر في تغيير مهني، فسياسة الذكاء الاصطناعي، وبحوث سلامة الذكاء الاصطناعي، والصحافة الاستقصائية، والعمل الخيري في هذا المجال من بين الأدوار ذات التأثير الأعلى المتاحة. وإذا كانت لديك موارد، فتمويل المنظمات العاملة على هذا من بين أعلى استخدامات رأس المال الخيري تأثيراً في العالم حالياً.

الحرب النووية والأوبئة المصممة يمكن أن تقتل على نطاق حضاري. الذكاء الفائق أسوأ، وهو أكبر خطر يواجه البشرية.

إنه أسرع: فقد لا يتيح نظام يعمل بسرعة الآلة خارج سيطرتنا فترة لتصحيح المسار. وهو غير قابل للعكس: فمعظم الكوارث، مهما كانت مدمرة، تترك شخصا قادرا على إعادة البناء. أما الذكاء الفائق الذي يحقق تفوقا استراتيجيا حاسما فقد لا يترك ذلك. وهو يعلو فوق التهديدات الأخرى لا يجاورها. وقد يسببها أو يضخمها (مثل تمكين الأسلحة البيولوجية، وتركيز السلطة) بينما يزيل القدرة البشرية على الاستجابة. ولهذا السبب يأتي أولا.

ابدأ بالفرق الواضح: لقد شهدنا أحد هذين التهديدين ولم نشهد الآخر. فقد عُرضت الأسلحة النووية فوق هيروشيما وناغازاكي بأكثر الطرق التي لا تُنسى، وقد نشأ كل من هو على قيد الحياة مع صورة السحابة الفطرية. أما الذكاء الفائق / الذكاء الخارق فلم يؤذِ أحدًا قط. وخطره لا يزال إسقاطًا على رسم بياني، والناس يقللون من شأن التهديد الذي لم يشاهدوه يحدث.

عدة أمور تعمق هذا الخصم. يطابق الذكاء الفائق أفلام الخيال العلمي، فيُحفظ التحذير بجانب المدمر ويُصرف كقصة فيلم. الذكاء الاصطناعي الذي يلمسه معظم الناس فعليا هو روبوت محادثة مفيد وغير ضار، وهذه التجربة اليومية تحاجج بهدوء ضد الإنذار بطريقة لم يضطر الفيزياء النووية للتغلب عليها قط. وحيث بنيت القنبلة الذرية واحتفظت بها حفنة من الحكومات، يُبنى الذكاء الفائق من شركات تبلغ قيمتها تريليونات الدولارات، ولديها كل سبب تجاري لإبقاء المزاج العام هادئا.

ثمة تباين قاتم مخبأ في المقارنة. يوجد المحظور النووي لأن هيروشيما جاءت أولا وعلّمته، ثم جاءت المعاهدات والتدريبات بعدها، وبقي من العالم ما يكفي لاستيعاب الدرس. أما الذكاء الفائق / الذكاء الخارق فلا يقدم مثل هذه الخطوة الثانية. إذا أخطأ عند بلوغ القدرة الكاملة، فإن العرض والانقراض يكونان الحدث نفسه. والحجة كلها للتعامل معه بجدية الحرب النووية هي أن علينا فعل ذلك قبل وصول البرهان، لا بعده.

المؤسسة مبادرة خيرية ممولة من القطاع الخاص. لا نتلقى تمويلًا حكوميًا. لا نقبل التمويل من شركات الذكاء الاصطناعي أو من المنظمات ذات المصلحة المالية في وتيرة تطوير الذكاء الاصطناعي. استقلالنا عن المصالح التجارية للذكاء الاصطناعي شرط أساسي لعملنا، وليس عرضيًا له.

نحن لا نتخذ موقفاً من تلك القضايا كمسائل مستقلة. هدفنا هو منع الذكاء الفائق والخطر الانقراضي البشري الذي سيأتي معه. المعاهدة الدولية الملزمة هي المسار الأكثر تأثيراً الذي نراه نحو ذلك الهدف.

نحن لا نعتقد أن المقاطعات الفردية أو خيارات الإنفاق الشخصية تحسم هذا الأمر. فشركة واحدة لا تستطيع إنهاء السباق بمفردها. فالحوافز تشير إلى الاتجاه الخاطئ: من يبطئ يخاطر بالتخلف عن منافس. وهذه حقيقة علمية ونفسية عن الأنظمة التنافسية، لا فشل أخلاقي لمختبر بعينه.

ما يغير هيكل الحوافز هو الحوكمة والقانون: معاهدة دولية ملزمة وموثقة تجعل بناء الذكاء الفائق غير قانوني ومكلفاً الغش فيه. خيارات المستهلك الشخصية اختيارية. أما التنسيق عبر القانون فهو ضروري.