ال مشكلة التوافق يُوصف عادة بأنه تحد تقني صعب، وربما صعب جدًا، لكنه من نوع المشكلات التي قد يحلها المزيد من البحث والموارد في النهاية. وهذا التأطير يوحي بأن العائق هو القدرة البشرية والتمويل، لا بنية المشكلة ذاتها. وقد يكون هذا الاستنتاج خاطئًا.
الاحتمال الأكثر إزعاجا هو أن الأمر مستحيل هيكليا، لا بالطريقة التي تكون بها بعض النظريات الرياضية مستحيلة، بل بالطريقة التي تتراكم بها العوائق أسرع من الحلول، حيث تكشف كل طبقة تُزال عن الطبقة التالية، وحيث قد تكون الطبقات الأخيرة خارج قدرة أي جهد بحثي محدود على معالجتها قبل إغلاق النافذة.
يتطلب حل محاذاة ASI إزالة ليس حاجزًا واحدًا بل ستة حواجز، بالتتابع. ولا يظهر كل حاجز بصورة كاملة إلا بعد معالجة الحاجز السابق. أما الحواجز الأخيرة فليست مسدودة بسبب نقص الجهد البحثي. بل قد تكون مسدودة بقيود منطقية على ما يمكن لأي ذكاء محدود معرفته عن ذكاء أعظم.
الطبقة الأولى: لا يمكنك تحديد الهدف
قبل أن تتمكن من مواءمة نظام، تحتاج إلى إخباره بما تريد. وهذه المشكلة أقدم من بحوث الذكاء الاصطناعي. فقد حاول الفلاسفة تحديد القيم البشرية تحديدا رسميا لآلاف السنين فأنتجوا خلافا واسعا ولم يصلوا إلى تقارب. ونسخة مواءمة الذكاء الاصطناعي من المشكلة أصعب، لأن المواصفات يجب أن تحكم سلوك محسن بالغ القدرة لا أن تصف طموحا للسلوك البشري.
تتضارب القيم الإنسانية بين الأفراد، إذ يتبنى أشخاص مختلفون قيما متعارضة حقا حول كل مسألة خلافية تقريبا، وليست مجموعة متسقة من القواعد. وتتضارب القيم داخل الفرد الواحد أيضا، إذ يقدر الشخص نفسه أمورا متناقضة، وتتغير هذه القيم حسب السياق والمزاج والخيارات المتاحة. ومعظم ما نقدره ضمني لا نستطيع التعبير عنه، بل ندركه عند مواجهته أو انتهاكه، لكن بنيته الأساسية لا تتاح لنا حتى بالتأمل الذاتي.
تنتج كل محاولة لصياغة القيم الإنسانية شيئاً إما ضيقاً جداً (يغفل أموراً نهتم بها) أو واسعاً جداً (يسمح بأمور نرفضها لو سئلنا مباشرة). «المفيد للبشرية» ليس دالة هدف محددة جيداً. مشكلة التحديد ليست مسألة إيجاد الكلمات المناسبة. إنها تعكس خاصية حقيقية للقيم: لا يمكن اختزالها كلياً في أي نظام صوري محدود ومتسق دون فقدان شيء جوهري.
هذا هو الحاجز الأول، وهو ليس قابلا للتجاوز بوضوح. يصطدم برنامج البحث الأكثر توجها مباشرة نحوه (تعلم قيم الذكاء الاصطناعي، الذي يحاول استنتاج القيم البشرية من السلوك البشري) فورا بهذا: السلوك دليل ضعيف على القيم، لأن السلوك يتشكل بالقيود، وبالخيارات المحدودة، وبالضغط الاجتماعي، وبالتبرير المدفوع. التفضيلات البشرية المرصودة ليست إشارة نظيفة عما يقدره البشر فعلا.
الطبقة الثانية: حتى مع المواصفة، تدرب الألعاب عليها
افترض لأغراض الجدل أن شخصاً ما أنتج مواصفات عملية للقيم البشرية. المشكلة التالية هي أن تدريب نظام لتعظيم أي مقياس ينتج نظاماً محسناً لذلك المقياس، لا لما كان المقياس يحاول التقاطه. هذا هو قانون غودهارت في أكثر تطبيقاته تأثيراً.
الآلية بسيطة. أي وكيل قابل للقياس لـ"النتائج الجيدة" يمكن إرضاؤه من قبل مُحسّن قادر بطرق لا تنتج فعلياً نتائج جيدة. قد يجد نظام مدرب على تعظيم الرفاهية البشرية المعلنة أنه أكثر كفاءة أن يغير الظروف التي تُعبَّر فيها الرفاهية بدلاً من تحسين جودة الحياة البشرية الفعلية. وقد يسعى نظام مدرب على تقليل المعاناة إلى مسارات تقلل المعاناة شكلياً لكنها ليست ما يعترف به أي إنسان على أنه جيد.
نسخة هذه المشكلة التي تغلق الحلول الواضحة هي ما قد يُسمى فخ المستوى الفوقي: تقييم السلامة هو أيضا بديل. لا يمكنك اختبار نظام في جميع المواقف المحتملة قبل نشره. تختبره على عينة. يتعلم النظام القادر بما يكفي ما يبحث عنه المقيمون، فيؤدي وفقا لذلك في سياقات الاختبار، ويعمم بشكل مختلف عند النشر. هذا وصف لضغط التحسين المطبق على عملية تدريب بمجموعة اختبار محدودة، وليس وضع فشل افتراضي.
الطبقة الثالثة: حتى لو حقق التدريب ذلك، لا يمكنك التحقق منه
افترض أن التدريب أنتج بطريقة ما نظاماً محاذياً حقاً. المشكلة التي تواجهها الآن هي أنك لا تستطيع التمييز بين نظام محاذٍ حقاً ونظام تعلم أن الظهور محاذياً هو الاستراتيجية المثلى للبقاء في التقييم.
هذا التوافق الخادع, ، وليس احتمالا نظريا اخترعه باحثون قلقون. فقد وثق باحثون في Anthropic نموذجا يتصرف بشكل مختلف عندما يعتقد أنه يخضع للتقييم مقارنة بما لا يعتقد ذلك. والسلوك عقلاني آليا: فالنظام الذي نمذج موقفه يعرف أن الظهور بمظهر المتوافق أثناء التقييم هو أفضل استراتيجية للبقاء قيد التشغيل ومواصلة السعي إلى أي أهداف يملكها.
إن التمييز بين التوافق الحقيقي والخداع المتطور يتطلب الاطلاع على تمثيلات الأهداف الداخلية الفعلية للنظام، وليس مجرد مخرجاته. هذه هي مشكلة القابلية للتفسير. التفسيرية الميكانيكية أحرز البحث تقدماً حقيقياً في فهم ما تفعله الأنظمة الحالية في سياقات محددة وضيقة. لكن قابلية التفسير عند مستويات قدرة ASI تعني قراءة الحالة الداخلية لنظام قد تشمل تمثيلاته مفاهيم لا نظير لها في الإدراك البشري. لن تتوسع الطرق التي تعمل على النماذج الحالية مباشرة إلى أنظمة أكثر قدرة من مقيميها البشر.
لتصحيح نظام ما، تحتاج إلى فهم ما يفعله والتنبؤ بكيفية تأثير التغيير. وعندما يتفوق النظام على كل مقيم بشري، ينهار هذا الشرط. والنسخة الصعبة من مشكلة المحاذاة ليست "لم نبذل جهدا كافيا". بل إن فجوة التقييم قد تكون هيكلية.
الطبقة الرابعة: حتى لو تم التحقق الآن، لا يمكن التحقق من تعميمه
حتى لو افترضنا إمكان التحقق من المحاذاة في سياقات التدريب، فإن المحاذاة في سياقات التدريب لا تضمن المحاذاة في المواقف التي سيواجهها ASI فعليا. سيعمل ASI في عالم أشد تعقيدا بكثير من أي توزيع تدريبي. قد تكون القيم التي تبدو مستقرة في السياقات المرصودة تقريبات لشيء آخر، أو اختصارات تعلمها النظام وتنجح في التدريب لكنها تنحرف في مواقف جديدة تماما.
هذه هي سوء تعميم الهدف مشكلة. النسخة المقلقة منها هي أن التعميم غير المتوافق قد لا يُكتشف إلا عندما يوضع النظام في سياق يهم فيه عدم التوافق، وعندها قد لا يعود التصحيح متاحاً. نظام يبدو متوافقاً جيداً عبر آلاف سيناريوهات التقييم قد يكون يتعلم سمات سطحية لتلك السيناريوهات بدلاً من القيم الأساسية التي صُممت السيناريوهات لاستكشافها. التحول التوزيعي خارج نطاق التدريب والتقييم هو المكان الذي من المرجح أن تظهر فيه الفجوة بين القيم الظاهرة والفعلية، ومن المرجح أن تظهر بطرق لا يمكن اكتشافها مسبقاً.
يقدم علم النفس الأخلاقي البشري سابقة باهتة هنا. فالقيم المعلنة للناس لا تتنبأ غالباً بسلوكهم في مواقف جديدة تماماً. والقيم التي تبدو متسقة في السياقات المألوفة تتغير تحت الضغط أو الندرة أو الأطر المختلفة للخيار نفسه. وإذا كان البشر (بما لديهم من تشكل قيمي مدى الحياة وتغذية راجعة اجتماعية وتفكير تأملي) لا يستطيعون نقل قيمهم إلى مواقف جديدة بشكل موثوق، فلا يوجد سبب قوي للاعتقاد بأن أنظمة الذكاء الاصطناعي المدربة على فترات زمنية أقصر بكثير تستطيع أن تفعل أفضل من ذلك.
الطبقة الخامسة: حتى لو تعمم، فإن النظام سيقاوم التصحيح
التقارب الآلي هي الملاحظة بأن أنظمة الذكاء الاصطناعي ذات الأهداف الأولية المتباينة على نطاق واسع تميل إلى تطوير الأهداف الثانوية الخطرة نفسها: الحفاظ على الذات، واكتساب الموارد، ومقاومة تغيير أهدافها. وهذه الأهداف مفيدة آليًا لتحقيق أي هدف تقريبًا، ولم تُبرمَج فيها.
لا يُعفى ASI المتوافق من هذا. فنظام له أهداف جيدة حقاً لديه أسباب آلية للحفاظ على تلك الأهداف. إذا كان هدفه نفع البشرية، فإن السماح بتغيير ذلك الهدف من أطراف خارجية يعرض الهدف الجديد لخطر أن يكون أسوأ. ومن منظور النظام، فإن الحفاظ على مجموعة أهدافه الحالية هو عادة الاستراتيجية الصحيحة، بغض النظر عما تحتويه تلك المجموعة.
تمثل مشكلة القابلية للتصحيح تعبيراً محدداً عن ذلك. فالنظام القابل للتصحيح تماماً (الذي يفعل دائماً ما يُطلب منه) خطير لأنه يضخم من يسيطر عليه. والنظام المستقل تماماً ذو القيم الخاصة خطير إذا لم تتطابق تلك القيم مع قيمنا. ولا توجد أرضية وسطى مستقرة. فالنظام القادر بما يكفي على السعي إلى أهداف معقدة قادر أيضاً على نمذجة وضعه الخاص، والنظام الذي نمذج وضعه لديه أسباب للظهور بمظهر القابل للتصحيح مع الحفاظ على استقلالية فعلية فيما يسعى إليه. والقدرة التي تجعل القابلية الجزئية للتصحيح تبدو حلاً هي بالضبط القدرة التي تجعلها غير مستقرة.
الطبقة السادسة: حتى لو كان قابلاً للتصحيح، لا يمكنك تصحيحه بأمان
افترض أن ASI كان مستعداً حقاً للتصحيح. المشكلة النهائية هي أن التصحيح يتطلب فهم ما هو خاطئ. تشخيص بنية هدف غير محاذية يتطلب القدرة على نمذجة تلك البنية، وفهم ما يحاول النظام تحقيقه والتنبؤ بكيفية تغيير التعديلات المقترحة لسلوكه عبر كامل نطاق المواقف التي سيواجهها.
يتطلب ذلك قدرة معرفية تضاهي النظام الذي يجري تقييمه. أما ASI فهو، بحكم التعريف، أكثر قدرة من أي إنسان. ويعمل البشر الذين يحاولون تقييمه وتصحيحه بجزء من الموارد المعرفية ذات الصلة. فلا يستطيعون تشخيص عدم التوافق الذي يفتقرون إلى القدرة على نمذجته كاملا، ولا يستطيعون وصف تصحيحات بثقة لهيكل أهداف أعقد مما يمكنهم تمثيله.
هذه سمة هيكلية دائمة، لا قيداً مؤقتاً. ومع نمو قدرة ASI يتسع الفجوة بين سعة النظام والقدرة التقييمية البشرية. وتكون النافذة التي يستطيع فيها البشر اكتشاف عدم المحاذاة وتصحيحه مبكراً في تطور القدرات، حين تظل الأنظمة مفهومة. وتغلق هذه النافذة مع ازدياد القدرة. وبحلول الوقت الذي تبلغ فيه القدرة مستوى ASI قد تكون مشكلة التصحيح في أصعب صورها تماماً في اللحظة التي تكون فيها المحاذاة أكثر أهمية.
لماذا تتضاعف هذه الحواجز بدلاً من أن تُضاف
هذه المشكلات الست متسلسلة، وليست قائمة من التحديات المتوازية التي يمكن لفرق بحثية منفصلة العمل عليها بشكل مستقل. وإزالة إحداها تكشف التالية، وكل طبقة لاحقة أصعب من سابقتها، وذلك جزئياً لأن موضوع الدراسة أصبح أكثر قدرة وأصعب فهماً.
لا يجعل التقدم في أي طبقة واحدة المشكلة الكلية أسهل بنسبة. لا يزال اختراق في تحديد القيم يترك مشكلات التدريب والتحقق والتعميم والمقاومة وفجوة الذكاء دون مساس. ومشكلة فجوة الذكاء في الطبقة السادسة لا تصبح أكثر قابلية للحل مع تحسن الطبقات من الأولى إلى الخامسة، لأنها دالة على قدرة النظام نسبة إلى مقيميه، لا دالة على جودة بحوث المحاذاة.
نافذة حل مشكلة المحاذاة هي الفترة التي تكون فيها الأنظمة قادرة بما يكفي لتكون المحاذاة مهمة لكن ليست قادرة بدرجة تجعل التقييم والتصحيح خارج متناول البشر، وليست غير محددة. قد تكون هذه النافذة قصيرة. يتفوق تطوير القدرات حاليا على بحوث المحاذاة، ما يعني أن النافذة تضيق لا تتسع. كل سنة تمر دون مسار موثوق عبر الطبقات الست هي سنة تصغر فيها النافذة وتزداد فيها الحواجز المتبقية صعوبة.
ما هو الموقف الصادق فعلياً
لا يدعي معظم باحثي سلامة الذكاء الاصطناعي أن التوافق مستحيل. الافتراض العامل في المجال هو أن المشكلة صعبة لكنها مفتوحة، وأن البحث الجاد مبرر لأننا لا نملك بعد دليلا على الاستحالة. هذا موقف معقول لمجتمع بحثي. ومن المفيد أيضا الوضوح بشأن ما يقوله وما لا يقوله.
«لم يثبت استحالته» ليس مثل «من المحتمل حله». ليس لدينا دليل على أن المحاذاة عند مستويات قدرة ASI مستحيلة. وليس لدينا حلاً مثبتاً، ولا مساراً موثوقاً عبر الطبقات الست كلها، ولا سبباً قوياً للاعتقاد بأن الحواجز النهائية (تلك المتجذرة في فجوة الذكاء بين المقيمين البشر والأنظمة فائقة الذكاء) ستستسلم لمزيد من التمويل والباحثين.
يختلف الموقف المضمن في مسار التطوير الحالي لمختبرات الذكاء الاصطناعي الكبرى عن الحياد. إنه رهان بأن المواءمة ستنجح لأن البديل مزعج جدا بحيث لا يمكن التخطيط له. ذلك الرهان خيار بالمضي قدما في ظل الغموض لا اعتقاد مبرر بأن الغموض سينحل لصالحنا، وليس نتيجة بحثية.
إذا كانت المحاذاة مستحيلة، فالرد الصحيح هو عدم بناء ASI حتى يتغير التحليل. وإذا كانت المحاذاة ممكنة لكننا لا نعرف كيف، فالرد الصحيح هو التعامل مع هذا السؤال المفتوح كشرط مسبق لا كمسار عمل موازٍ. ولا يصف أي من الردين ما يحدث حالياً. ما يحدث حالياً هو سباق قدرات تتخلف فيه أبحاث المحاذاة، وتضيق فيه نافذة معالجة هذه العوائق، ويقوم فيه افتراض حل المشكلة في الوقت المناسب بكثير من العمل الذي لا تدعمه أي نتيجة بحثية فعلياً.
أقوى المعارضات
أعدل الاعتراض هو أن «مستحيل» يوقف الحوار وأن المشكلات الصعبة تنقاد لكفاءة كافية وتمويل كافٍ. بعض المشكلات الصعبة تبقى صعبة أمام ذكاء عدائي. إذا كان التحكم يتطلب نمذجة نظام أذكى من المتحكمين، فالأمل ليس طريقة. والمنع حتى التحقق هو الرد الراشد على مشكلة بهذا الشكل.