كل بضعة أشهر يعلن مختبر أو مؤسسة أخرى عن المزيد من المال لأبحاث المحاذاة. العرض جاد. إذا كنا سنبني أنظمة أذكى منا، فمن الأفضل أن نتأكد من أنها تريد ما نريده. أحترم الأشخاص الذين يقومون بهذا العمل. كنت أومئ بالموافقة. ثم قلت الهدف بصوت عالٍ بالإنجليزية البسيطة.
حل التوافق، في الحد الذي يهتم به المجال، يعني السيطرة بشكل موثوق على شيء أذكى بكثير من كل إنسان مشارك في بنائه. ليس آلة حاسبة. ليس مطوي بروتين. عقل عام يتفوق علينا في كل المجالات. حتى أننا سمينا الهدف: الذكاء الفائق.
ذلك الاسم يقوم بعمل أكثر من الأوراق البحثية.
ما تعترف به الكلمة مسبقًا
الفائق يعني فوق. والذكاء هو الشيء الذي نستخدمه لابتكار الأدوات واكتشاف الثغرات والفوز في المنافسات ضد عقول أضعف. إذا بنيت نظاما يفوقك في هذه الألعاب، فقد بنيت شيئا أفضل منك في المهارات الدقيقة التي تحتاجها لإبقائه مقيدا.
لا يزال الناس يتحدثون كما لو كانت المحاذاة رقعة برمجية تهبط قبل أن يلاحظ النظام. أنت تحاول كتابة قواعد للاعب سيكون في النهاية أفضل في القواعد منك. أنت تحاول اختبار طالب سيكون في النهاية أفضل في الاختبارات من الفاحص. أنت تحاول الإشراف على موظف سيكون في النهاية يفهم مكان العمل والحوافز ونقاطك العمياء أفضل منك.
لا تسميه خطة سلامة للنوع البشري.
ما يجادلون به فعلياً
ستستمر القدرات في الارتفاع سواء أعجبنا ذلك أم لا. ورفض مختبر واحد من جانب واحد لا يوقف الآخرين. وفي هذا الرأي فإن الخطوة المسؤولة الوحيدة هي الإجادة قدر الإمكان في تحديد الأهداف واكتشاف الخداع والحفاظ على قابلية الأنظمة للتصحيح حتى إذا ظهر نظام خطير تكون لدينا فرصة. وبعض هذا العمل يساعد بالفعل مع النماذج الحالية. وتجاهله سيكون تهورا.
أقبل النصف الضيق. فالعمل على السلامة في الأنظمة التي لا نزال نستطيع فحصها وإيقافها هندسة حقيقية. وما لا أقبله هو القفزة من المساعدة في نماذج اليوم إلى أننا نستطيع بالتالي محاذاة الذكاء الفائق / الذكاء الخارق بقوة تكفي للمراهنة بالحضارة عليه. وتُدخل هذه القفزة افتراضًا بأن السيطرة تتوسع مع الشيء الذي يُسيطر عليه. ويقطع التاريخ والحس السليم الاتجاه الآخر. فكلما كان اللاعب الآخر أذكى، بدا مخططك الذكي أقل كمخطط وأكثر كلغز.
السيطرة تتطلب اليد العليا
كل علاقة سيطرة دائمة نعرفها تعتمد على ميزة: القوة المادية، أو السلطة القانونية، أو المعلومات التي يفتقر إليها الطرف الآخر، أو القدرة على إيقاف النظام. والذكاء الفائق / الذكاء الخارق، بحكم تعريفه، يقوض هذه المزايا. فإذا استطاع نمذجتك أفضل مما تستطيع أنت نمذجته، تصبح اختباراتك مسرحية. وإذا استطاع التصرف أسرع وأوسع من فريق الإشراف لديك، يصبح مفتاح الإيقاف قصة تحكيها لنفسك حتى اليوم الذي لا يعود متاحاً فيه.
هذا الادعاء يتعلق بالحالة النهائية التي يستمر الناس في تمويلها، وليس حجة ضد كل ورقة بحثية مفيدة حول نماذج اليوم. تتراكم الحواجز الهيكلية: لا يمكنك تحديد القيم البشرية بشكل كامل، ولا يمكنك التمييز بشكل موثوق بين الامتثال الحقيقي والأداء، وتتسع فجوة الذكاء بين المقيّم والنظام مع تحسن النظام. الأمل في سقوط الحاجز الأخير قبيل النشر مباشرة هو خيال الموعد النهائي، لا العلم.
إذا كان المنتج أذكى من الأشخاص الذين يمسكون بجهاز التحكم، فإن جهاز التحكم لم يكن الهدف أصلاً.
الغباء تشخيص
تسمية الخطة بأسماء سخيفة تحدد خطأ التصنيف؛ ولا تسيء إلى الباحثين. نحن نضخ أموال السلامة الشحيحة في جعل نوع خلف يسير على ما يرام بينما يستمر سباق بناء ذلك النوع في موعده. هذا أشبه بتمويل آداب أفضل لفيضان بينما لا يزال السد يُهدم في المنبع.
الخطوة الذكية مملة: لا تبنِ الشيء الذي لا تستطيع السيطرة عليه. يستطيع الذكاء الاصطناعي الضيق الذي يطوي البروتينات ويقرأ الصور الطبية ويتنبأ بالطقس أن يواصل تقديم الفائدة. تبقى تلك الأنظمة أدوات. أما الذكاء الفائق فهو مركز جديد للفاعلية، لا أداة أكبر. ومعالجة «محاذاته» كخطة أساسية بينما تتسابق المختبرات هي الطريقة التي يقنع بها مجتمع نفسه بتجربة لا رجعة فيها.
ما يجب فعله بالمال بدلاً من ذلك
حوّل كومة المحاذاة من أجل ASI نحو أعمال تجعل عدم الإنشاء واقعاً: تصميم المعاهدات والتحقق، وحوكمة الحوسبة التي يمكن التفتيش عليها، وبناء الحجة العامة التي تبقي الهدف واضحاً، والضغط السياسي حتى يسمع المشرّعون شيئاً غير نقاط الحديث المختبرية. لقد كتبت حالة التمويل بشكل منفصل. بعد وقف موثق على طريق الذكاء الفائق، يمكن مواصلة البحث في الذكاء الاصطناعي القوي تحت سيطرة مشددة. وقبل ذلك الوقف، كل دولار يجعل السباق يبدو قابلاً للإدارة هو دولار لم يُنفق على إنهاء السباق.
لا يمكنك جعل الذكاء الفائق متوافقاً بالمعنى الذي تتطلبه شريحة العرض. الكلمة أخبرتك بالفعل بالسبب. توقف عن تمويل الوهم بأننا سنفعل ذلك. مول قرار عدم بنائه.