Open Philanthropy و80,000 Hours والسلالة البحثية التي مرت عبر Future of Humanity Institute فعلوا شيئا ما زالت معظم المؤسسات ترفض فعله. لقد تعاملوا مع الذكاء الفائق الاصطناعي كطريقة محتملة لنهاية القصة البشرية، ووجهوا أموالا ومواهب حقيقية نحو ذلك الادعاء. في المخاطرة نفسها كانوا مبكرين وكانوا على صواب.
حيث أخطأت المحفظة هو الاستنتاج التالي. من "هذا قد يقيد مستقبل البشرية بشكل دائم"، أصبح الجواب المهيمن لدى أنصار المدى الطويل: تمويل بحوث المحاذاة التقنية، وتمويل حوكمة ASI التي تبطئ أو توجه الحدود، والإبقاء على مسار مفتوح لبناء الأنظمة متى بدت أكثر أمانا. إنه أيضا الخطة الخاطئة للخطر الذي سموه بشكل صحيح.
لماذا بدت المحاذاة وكأنها الرافعة
لا يزال الحجم والإهمال والقابلية للمعالجة مهمة. فقد يؤثر ذكاء فائق منحرف التوافق على كل شخص حي وكل جيل بعده. ولسنوات لم يعامل أحد من ذوي السلطة ذلك كاحتمال حقيقي. وبدا العمل التقني على سوء تحديد الأهداف والخداع والرقابة كأحد الروافع القليلة التي قد ترفع فرص النتيجة الجيدة إذا وصلت أنظمة قوية على أي حال. وبدت عمليات إغلاق المختبرات من جانب واحد ميؤوساً منها في ظل المنافسة. لذا اختلطت المحفظة المسؤولة بين علم التوافق وسياسة شراء الوقت والتأثير الحذر داخل المختبرات والحكومات التي ستبني الأنظمة على أي حال.
أقبل معظم المقدمات. الجانب السلبي حضاري. الموضوع أُهمل. بعض أعمال السلامة التقنية على أنظمة لا نزال نستطيع فحصها وإيقافها هي هندسة عادية. المختبرات المنافسة والدول المنافسة تجعلان "انسحاب شركة واحدة" استراتيجية ضعيفة. ليس في ذلك شيء كرتوني، والسخرية من الذين أخذوا الخطر على محمل الجد أولاً مضيعة للوقت.
أين ينكسر الاستدلال
الفجوة هي الافتراض الهادئ بأن الوجهة محددة سلفا. إذا كان الذكاء الفائق قادما بغض النظر عن كل شيء، فإن المهمة الوحيدة المتبقية هي جعل وصوله أقل فتكا. يبدو تمويل المحاذاة والتقييمات و"التوسع المسؤول" منطقيا في ظل هذا الافتراض. فتصبح المشروع الأخلاقي الرئيسي لجيل يعتقد أنه لا يستطيع اختيار الحالة النهائية. لا يزال معظم المال والمكانة يذهبان إلى جعل السباق أكثر أمانا، لا إلى إنهاء السباق نحو ASI.
الوجهة ليست ثابتة. وجهات من هذا النوع تُختار. فللأسلحة النووية، وكيمياء الأوزون، والاستنساخ البشري لحظات قررت فيها الحكومات أن بعض الحالات النهائية لا تستحق المخاطر المتبقية. والذكاء الفائق / الذكاء الخارق ينتمي إلى تلك القائمة إلى الأبد. فالذكاء الفائق / الذكاء الخارق لا يمكن السيطرة عليه من البشر.
بمجرد التخلي عن افتراض الحتمية، يبدو المحفظة مختلفا. رأس المال الأماني النادر الذي ينفق على جعل السباق يبدو قابلا للإدارة هو رأس مال لم ينفق على إنهاء السباق. الحوكمة التي تبطئ الحدود فقط لتتمكن المختبرات من «اللحاق بالأمان» ما زالت تعامل بناء العقل غير القابل للسيطرة بوصفه الخطة. عمل المحاذاة الذي يفترض أننا سنخلق نوعا خلفا ثم نكبله يخلط بين برنامج بحث واستراتيجية بقاء.
لقد أصابوا في السجل وأخطأوا في الوجهة.
البحث بعد التوقف، لا بدلاً منه
أنا لا أطلب من أحد حرق المجال. العمل الذي يجعل أنظمة اليوم أكثر شفافية أو أصعب في إساءة الاستخدام أو أسهل في الإيقاف لا يزال قد يكون مهماً. بعد وقف موثق على طريق الذكاء الفائق، يمكن أن يستمر البحث في التحكم بالذكاء الاصطناعي القوي دون ساعة تجارية مثبتة على خطر الانقراض. التسلسل هو الحجة كلها.
ما يفشل هو التعامل مع المحاذاة التقنية كإجابة أساسية بينما تتوسع مختبرات الحدود على نفس الجدول الزمني. فذلك يقلب المشكلة رأسًا على عقب. وعندما لا تستطيع السيطرة على الجانب السلبي، والجانب السلبي هو الجميع، فالخطوة المسؤولة هي توقفوا عن بناء الشيء الخطير. لا يمكن السيطرة على الذكاء الفائق / الذكاء الخارق. يستمر الذكاء الاصطناعي الضيق. أما الفئة الضيقة من الأنظمة التي ستتجاوز الذكاء البشري في كل مجال فلا تستمر.
أوافق على أولوية المخاطر ASI وفق التوجه طويل الأمد. وأعارض أن الوصفة هي زيادة ميزانية المحاذاة وسباق موجه بعناية. الوصفة هي المنع بموجب قانون ملزم: عدم الإنشاء الدائم. فالذكاء الفائق لا يمكن السيطرة عليه من البشر. وإبطاء مؤقت حتى تلحق السلامة هو رهان على الجدول الزمني يفترض أن شخصا ما سيخترع طريقة مثبتة للسيطرة على عقل أذكى من صانعيه، في الوقت المناسب، تحت الضغط التنافسي. لا أحد يملك هذه الطريقة. لا على النطاق الصغير ولا الكبير. وتقول المختبرات الرائدة ذلك علنا.
غالباً ما يصنف الناس الوقاية تحت بند "التوقف المؤقت". التوقف المؤقت هو بضع سنوات من فسحة للتنفس ثم الاستئناف. هذا ليس المطلوب. نريد من الحكومات منع الذكاء الفائق ومواصلة منعه إلى الأبد. لا يمكن السيطرة على الذكاء الفائق. المعاهدة هي مخرج من السباق.
ما الذي يجب أن يفعله المال بدلاً من ذلك
انقل كومة المحاذاة لـASI نحو العمل الذي يجعل عدم الإنشاء قابلاً للتنفيذ: تصميم المعاهدات والتحقق منها، وحوكمة الحوسبة على مستوى الرقائق التي يمكن فحصها، وصنع الحجج العامة التي تبقي الهدف واضحاً، وعمل المبلغين عن المخالفات والشفافية الذي يرفع تكلفة القفزات القدراتية الهادئة، والتنظيم السياسي حتى يسمع المشرعون من الناخبين بدلاً من سماعهم فقط من لوبي المختبرات. لقد كتبت إعادة توجيه التمويل بالتفصيل. النسخة المختصرة هي الأولوية. مول قرار عدم بنائه.
اكتسب التوجه طويل الأمد فضلاً لتسميته خطراً لا يزال معظم النخب يعاملونه كخيال علمي. والفضل في التشخيص لا يثبت الوصفة. الخطر نفسه. والخطة مختلفة. امنع الذكاء الفائق بموجب القانون. واحتفظ بالأدوات التي تساعد البشر. واترك حلم إله موجَّه بعناية على الرف حتى يتفق العالم على عدم بناء واحد في الظلام.