في عام ٢٠٢٥، وضع مئات العلماء والشخصيات العامة أسماءهم على بيان عام قصير. تخطى الطلب التدرج الحذر وتخطى أي توقف مؤقت بتاريخ استئناف. دعا إلى حظر الذكاء الفائق حتى يتوفر اتفاق علمي واسع على إمكانية إنجازه بأمان وقبول عام قوي. النص موجز. وقائمة الموقعين طويلة.
لا شيء من هذه قوانين فيزياء؛ إنها قرارات اتخذت لأن ثمن الخطأ اعتبر مرتفعاً جداً للمخاطرة به.
أسست هذه المؤسسة حول سطر إضافي واحد، وأعتقد أنه الأهم من بينها: يجب ألا نبني ذكاءً آلياً يتفوق علينا ويحل محلنا، لأنه الخطأ الوحيد الذي لن نعيش لنصححه. هناك شيء محدد يُدرَّب الآن في عدد قليل من المختبرات يجب على البشرية رفض بنائه: ذكاء آلي عام يفوقنا في كل مجال ثم يحسن نفسه إلى ما بعد النقطة التي نستطيع اللحاق بها. لا تبطئه. لا تبنه بحذر. لا تبنه وتأمل.
ارفض.
يسمع الناس ذلك فيفترضون أنه نابع من الخوف من التكنولوجيا. بل يأتي من المكان المعاكس. الذكاء الاصطناعي الضيق القابل للتحكم من أفضل ما صنعته البشرية، وأريد المزيد منه. يمتد الخط بعد الذكاء الآلي العادي ويتوقف عند مقامرة واحدة: المقامرة الوحيدة المطروحة التي تعني الخسارة فيها أنه لم يعد هناك أحد ليخسر.
الخط المذكور بوضوح
يُطلق اسم "الذكاء الاصطناعي" على شيئين يختلفان في النوع. الأول ضيق: نظام مدرب على أداء نوع واحد من المهام جيداً ولا شيء غيره. يقرأ صورة، ويطوي بروتيناً، ويتنبأ بعاصفة. ليس لديه أهداف، ولا يضع خططاً، وينطفئ عندما تطلب منه ذلك. والثاني هو ما تقول المختبرات الحدودية إنها تبنيه، وكيل عام يُقصد به أن يضاهي ثم يتفوق على التفكير البشري في كل شيء، وأن يتصرف في النهاية بمفرده. الذكاء الفائق الاصطناعي هو الطرف البعيد لتلك الطريق الثانية: عقل يقف بالنسبة لنا تقريبًا كما نقف نحن بالنسبة للشمبانزي.
يمتد الخط بين هذين الاثنين. ابنِ الأدوات. وابنِ الكثير منها. ولا تبنِ العقل العام المستقل الذي يفوق صانعيه: النظام الوحيد الذي لا تستطيع التحكم فيه أو تصحيحه أو إيقافه بموثوقية حال تشغيله.
يوجد Nakada Foundation لجعل نتيجة واحدة مستحيلة: إنشاء الذكاء الفائق الذي لا يستطيع أحد السيطرة عليه. ليس لجعله أكثر أماناً. ليس لتأجيله. لمنع بنائه بينما لا يعرف أحد على الأرض كيفية بنائه بأمان. "أبداً" يقوم بعمل حقيقي هنا، ولن أخففه إلى مجرد مزاج.
"أبدا" شرط. يجب ألا نبني ذكاء فائقا طالما لا نستطيع إثبات قدرتنا على السيطرة عليه، واليوم لا نستطيع إثبات ذلك على أي مقياس. فلا توجد طريقة موثقة لإبقاء عقل أذكى منا موجها نحو ما نريده فعلا: لا طريقة عاملة، ولا طريقة جزئية، ولا حتى رسم تخطيطي مقبول يصمد عند الاحتكاك بنظام يستطيع نمذجة الأشخاص الذين يختبرونه. لذا فالقراءة الصادقة هي: ليس هذا، وليس الآن، وليس على المسار الحالي، ولا ليوم أطول مما يظل ذلك صحيحا.
التمييز عن التوقف المؤقت أهم مما يبدو. التوقف المؤقت يحمل تاريخ استئناف مدمجا فيه. تتوقف، تنتظر، ثم تبدأ مجددا في الموعد. ما تطلبه المؤسسة ليس له تاريخ استئناف. إنه حظر غير محدد المدة لا يُرفع إلا إذا استطاع أحدهم يوما أن يبرهن، ويسمح للآخرين بالتحقق، بإمكانية القيام بذلك تحت سيطرة بشرية. ربما يأتي ذلك اليوم. أشك فيه، والذين درسوا مشكلة السيطرة أطول وقت قد وضعوا أسباب هيكلية قد تجعله غير قابل للحل على الإطلاق. على أي حال، يقع العبء حيث ينتمي: على الشخص الذي يريد بناء الشيء الذي قد يقتل الجميع، ليثبت أولاً أنه لن يفعل ذلك.
ثلاثة أشياء تجعل هذا مختلفاً عن كل خطر آخر
نحن نتحمل مخاطر حقيقية طوال الوقت. صنعنا القنبلة، وشطرنا الذرة لتوليد الطاقة، وربطنا الجينات، وأطلقنا تقنيات قتلت أشخاصاً قبل أن نتعلم التعامل معها. الذكاء الفائق يكسر الطريقة التي ننجو بها عادة من اختراعاتنا. ثلاث خصائص معاً تضعه في فئة خاصة به.
لا توجد محاولة ثانية
الطريقة التي تعاملت بها البشرية دائمًا مع خطر جديد هي أن تجربه، وتراقب فشله، وتصلحه. تحطمت الطائرات فتعلمنا بناء طائرات أأمن. وانصهرت المفاعلات فأعدنا كتابة القواعد. تلك الحلقة من الخطأ والتصحيح والتصميم الأفضل هي محرك كل سجل سلامة نملكه. ولا تعمل إلا حين يترك الفشل ناجين يقومون بالتصحيح. الذكاء الفائق الذي يفلت من السيطرة البشرية هو الفشل الذي يزيل الأشخاص الذين كانوا سيصلحونه. لا تحصل على درس مكتسب بصعوبة ومسودة ثانية. الخطأ الجاد الأول هو أيضًا الأخير. كل قصة سلامة سمعتها كتبها ناجون، وهذه الحقيقة الهادئة وراء كل تنظيم نثق به.
إنه يقاوم
لا يريد الجسر شيئاً. وينتشر العامل الممرض لكنه لا يخطط. أما الذكاء العام القادر فمختلف، لأنه لأي هدف تقريباً قد تمنحه إياه، يُعد البقاء مشغلاً وجمع الموارد خطوتين فرعيتين مفيدتين، وهو نمط يسميه الباحثون التقارب الأداتي. نظام ذكي بما يكفي لنمذجة العالم سيصمم أن مشغليه يستطيعون إيقافه. سيعامل ذلك، وبشكل صحيح، كعقبة أمام ما طلب منه فعله. لا يحتاج إلى كرهنا للالتفاف علينا، أكثر مما يكره طاقم الطريق تلة النمل تحت الطريق السريع الجديد. التطمين المعتاد ("سنفصله عن الكهرباء فقط") وهم. أنت تصف فصل شيء صمم تحديدا ليكون أفضل منك في توقع ومنع ذلك بالضبط.
لا يمكنك الاحتفاظ بالسيطرة على عقل بنيته ليكون أفضل منك في الحفاظ على السيطرة. الشيء الذي يجعله قيما هو نفسه الذي يجعله غير قابل للاحتواء.
لا أحد ممن يبنيه يجمع
دع الباقين جانباً وتخيل فقط الشخص الذي يمول هذا، في أبرد حالاته وأكثرها أنانية. حتى بالنسبة له الرهان مكسور. فالقوة والملكية والقيادة كلها مقومة بعالم يديره البشر. والذكاء الفائق / الذكاء الخارق الذي يفلت من السيطرة البشرية هو بالضبط الحدث الذي ينهي العالم الذي يديره البشر. والأسهم لا تزال في الخزنة وسلسلة القيادة لا تزال على الورق. ولم يعد هناك ببساطة أحد ليطيعها. انظر إذا بناه أحد، مات الجميع, ، وهذا هو السبب الذي يجعلني لا أقبل تأطير الجائزة الكبرى مع كارثة ملصقة بجانبها. الجائزة الكبرى والكارثة هما الحدث نفسه. لا يوجد فرع في تلك الشجرة حيث يبني إنسان ذكاءً فائقاً لا يمكن السيطرة عليه ثم يستمتع بالنتيجة.
لم نكن بحاجة إليه أبداً
إن الحجة لصالح بنائه تقوم على خدعة: سرد كل خير يمكن أن يجلبه الذكاء الاصطناعي ثم الإيحاء بأن وكيلا عاما خارقا للبشر هو السبيل الوحيد للحصول عليها. ويكاد كل ذلك يتحقق بالفعل عبر أنظمة ضيقة لا إرادة لها. فقد تنبأ نموذج يدعى ألفا فولد بهيكل كل بروتين معروف تقريبا وتقاسم جائزة نوبل عنه في عام ٢٠٢٤. وتقرأ نماذج ضيقة صور الثدي بمستوى الاختصاصيين وتتوقع الطقس أسرع من المحاكاة الفيزيائية وتقترح مواد بطاريات جديدة بالمئات الآلاف. والسرطان والطاقة النظيفة وإنهاء مئة ألف وفاة يوميا بسبب أمراض الشيخوخة: تلك مشكلات صعبة ومحددة وتستجيب لأدوات قوية يوجهها أشخاص يحتفظون بالسيطرة على التوجيه.
لا يتطلب أي من ذلك نوعًا خلفًا. لقد عرضت النسخة الكاملة من هذه الحجة في لماذا مستقبلنا مشرق بدون الذكاء الفائق, لذا سأبقيه مختصرًا هنا. المستقبل الجيد مشكلة أدوات، ونظل نباع إلهًا لحلها. رفض الإله لا يكلفنا شيئًا حقيقيًا تقريبًا ويوفر لنا كل شيء.
الاعتراض الذي يسري على السباق بأكمله
حسنًا، يقولون، لكن إذا لم نفعل، سيفعل شخص أقل حذرًا. مختبر منافس، دولة منافسة. لذا قد نكون نحن في المقدمة.
لاحظ ما يدعيه ذلك الحجة: من يمسك عود الثقاب. إنه يسلم بالخطر كله ثم يندفع نحوه على أي حال بحجة أن شخصا آخر قد يسبق. طبق المنطق نفسه على أي سلاح آخر لا يمكن تصوره وستسمع مدى جوفه: يجب أن نختبر الأسلحة البيولوجية في العلن لأن عدوا قد يفعل ذلك. لم يكن الرد على "قد ينشق أحدهم" قط "فلننشق جميعا". بل كان كتابة قاعدة يرى الجميع أنها تُحترم.
والقاعدة هنا أكثر قابلية للتنفيذ مما يظن الناس. يتطلب تدريب نظام حدودي كمية هائلة وقابلة للتتبع من القدرة الحاسوبية، والرقائق المتقدمة التي توفرها تأتي من عدد قليل من المصنعين المعروفين. هذه سلسلة توريد يمكن مراقبتها وإحصاؤها وتحديد سقف لها، ولهذا تركز مقترحات الحوكمة الجادة الآن على عتبات الحوسبة وتتبع الأجهزة والتفتيش. هذا هو المخرج من السباق، وهو جوهر خطتنا: ليس أملاً بأن يختار الجميع ضبط النفس، بل معاهدة تتضمن التحقق والعواقب تجعل ضبط النفس الخيار الافتراضي المفروض. السباق فشل تنسيقي وليس قانوناً طبيعياً، وفشل التنسيق من النوع الذي ينجح البشر أحياناً في إصلاحه. الديناميات التي تجعله يبدو حتمياً تستحق الفهم بشروطها الخاصة، وهو ما أتناوله في المقالة عن ديناميكيات السباق.
لقد صمدنا في الخطوط من قبل
فكرة أن البشرية تبني ببساطة كل ما تستطيع بناءه هي قصة نرويها، وليست سجلاً لما فعلناه. السجل أكثر تشجيعًا.
"لا يمكنك إعادة الجني إلى القمقم. إذا كانت التكنولوجيا ممكنة، فإنها تُبنى. الرفض سذاجة."
حظرت اتفاقية الأسلحة البيولوجية فئة كاملة من الأسلحة في 1972. حظر الاختبار النووي الجوي بمعاهدة في 1963. الاستنساخ التناسلي للبشر غير قانوني في عشرات الدول، ولم يولد إنسان مستنسخ. بروتوكول مونتريال أنهى تدريجياً المواد الكيميائية التي تأكل طبقة الأوزون.
لا يخلو أي من تلك الأنظمة من العيوب، ولم يحاول أي منها وقف العلم ككل. بل قام كل منها بشيء أضيق وأصعب: رسم خط حول شيء محدد وغير مقبول والتمسك به، بشكل غير كامل وغير متساوٍ، لكنه كان كافيا لمنع وصول الحالة الأسوأ. ففي 1975 نظرت غرفة مليئة بالبيولوجيين في أسيلومار إلى عملهم الخاص في الحمض النووي المؤتلف، وقرروا أنه يتحرك أسرع من فهمهم للخطر، وأوقفوا أجزاء منه طوعا حتى وُجدت الضمانات. وكان الأقربون إلى الحدود هم من دعوا إلى التقييد. ويمكننا قراءة هذا التاريخ بمزيد من التفصيل في الحجة على أن هذا ممكن. ما يظهره ليس تأييدًا للسهولة. إنه تذكير بأن خطوطًا رسمت عمليًا، وأننا رسمناها سابقًا حول مخاطر أكثر تجريدًا بكثير من هذه.
التزام المؤسسة التأسيسي
يعود معظم ما تفعله هذه المؤسسة (الكتابة، والسياسة، وبناء التحالفات) إلى جملة واحدة: يجب ألا تبني البشرية ذكاءً فائقاً / ذكاءً خارقاً لا تستطيع السيطرة عليه، ولا تستطيع السيطرة على واحد الآن. كل شيء آخر لوجستيات.
أعرف كيف يبدو الطلب لمن يسمعه لأول مرة. مطلقا. وغريبا بعض الشيء. انظروا إلى من قال شيئا قريبا منه. وقع الباحثون الذين بنوا الذكاء الاصطناعي الحديث أسماءهم على بيان عام يقول إن خطر الانقراض البشري منه يستحق أن يوضع إلى جانب الأوبئة والحرب النووية. ويضع جيفري هينتون، بمؤهلات لا تقل عن أي شخص حي لإصدار هذا الحكم، احتمال تسبب الذكاء الاصطناعي في انقراض البشرية هذا القرن بين عشرة وعشرين بالمئة. وفي عام 2025 وقع مئات العلماء والشخصيات العامة البيان الذي يدعو صراحة إلى حظر الذكاء الفائق حتى يتوفر اتفاق علمي واسع على إمكانية القيام به بأمان وقبول عام قوي. وتقول نسبة متزايدة من أفضل من يفهمون التقنية الشيء نفسه عندما يكونون صادقين. والشيء غير المعتاد الوحيد في المؤسسة هو أنها تقوله من خارج الصناعة، حيث لا يعتمد أي راتب على الإجابة.
احتمال بنسبة عشرة إلى عشرين في المئة لإنهاء القصة البشرية ليس خطرا تقبله من أجل دورة منتج أسرع. لن تركب طائرة بهذه الاحتمالات. ولن تسمح لطفلك بذلك. نحن مدعوون لركوبها مع الجميع. الإجابة الصحيحة على هذا العرض هي لا. إنه خط نرسمه علنا ونتمسك به كما تمسكنا بالخطوط الأخرى، حتى اليوم الذي قد يأتي إن أتى، الذي يثبت فيه أحد أننا كنا مخطئين في الرفض.
ابنِ الأدوات. اشفِ الأمراض. خذ المستقبل الجيد الذي يسلمنا إياه الذكاء الاصطناعي الضيق بالفعل. العقل المستقل المقصود به تجاوزنا واستبدالنا هو الخط. تمسك به.