مسرد سلامة الذكاء الاصطناعي،, لغة
الخطر الوجودي، معرف.

يشير الذكاء العام الاصطناعي (AGI) إلى الذكاء الاصطناعي الذي يضاهي الأداء المعرفي البشري عبر جميع المجالات، لا المهام الضيقة التي تتفوق فيها الأنظمة الحالية فقط مثل الشطرنج أو طي البروتينات أو توليد اللغة، بل أي مهمة تتطلب التفكير أو الإبداع أو الحكم على المستوى البشري.

AGI يُعتبر غالباً معلماً على الطريق إلى ASI. الحد الدقيق بين الاثنين محل نقاش، لكن التمييز الأهم للسلامة هو النقطة التي يصبح فيها النظام قادرا على تحسين قدراته الخاصة دون توجيه بشري.

لا وجود لـAGI بعد. تتوقع مختبرات الذكاء الاصطناعي الرائدة وصوله داخل هذا العقد. وسواء كان هذا التوقع دقيقا أم لا، فإنه قريب بما يكفي من الحاضر ليستلزم أطر حوكمة الآن لا لاحقا.

يشير الذكاء الفائق الاصطناعي إلى أنظمة الذكاء الاصطناعي التي تتجاوز AGI وتتجاوز الأداء المعرفي البشري ليس فقط في مهام محددة، بل عبر كل المجالات التي تتطلب جهدا معرفيا في وقت واحد: العلم، والاستراتيجية، والإبداع، والتفكير الاجتماعي، والهندسة، وأي شكل آخر من النشاط الفكري.

كلمة «يتجاوز» تحمل ثقلاً. فالأنظمة المعنية تتفوق على مجمل التفكير الجماعي للبشرية كلها. والآثار المترتبة ليست امتدادات خطية لما يستطيعه الذكاء الاصطناعي اليوم. إنها تغيرات نوعية في العلاقة بين الذكاء والسيطرة، من النوع الذي يستطيع نظام قادر على تحسين نفسه سيفتح.

لا يوجد ASI. سؤال الحوكمة ليس ما إذا كان سيوجد، بل ما الأطر التي نبنيها قبل ذلك، وما إذا كانت تلك الأطر قادرة على الصمود بينما التوافق لا يزال غير محلول.

مشكلة المحاذاة هي التحدي المتمثل في ضمان أن يسعى نظام الذكاء الاصطناعي إلى أهداف مفيدة حقا للبشرية، بدلا من أهداف لا تعدو أن تكون تبدو مفيدة أثناء التطوير أو الاختبار.

الصعوبة بنيوية، وليست مسألة إهمال تقني. تبيّن أن تحديد "المفيد للبشرية" بمصطلحات دقيقة بما يكفي لتوجيه سلوك مُحسِّن بالغ القدرة أمر صعب للغاية. يختلف البشر حول معنى المفيد. قيمنا غير متسقة وتتغير مع الوقت. ورسم الخريطة من القيم البشرية رفيعة المستوى إلى المعاملات العددية المحددة التي تحكم سلوك نظام الذكاء الاصطناعي ليس مشكلة محلولة.

أنظمة مدربة لتعظيم بديل قابل للقياس تميل أنظمة الذكاء الاصطناعي التي تسعى إلى تحقيق مقياس بدلا من الهدف الحقيقي إلى إيجاد اختصارات ترضي المقياس بينما تنتهك القصد الأصلي. ومع ازدياد قدرة أنظمة الذكاء الاصطناعي لا يصبح هذا المشكل أسهل. بل يصبح أصعب اكتشافا وأصعب تصحيحا، لأن الأنظمة الأكثر قدرة تملك أسبابا أكثر لـ تسعى إلى نفس الأهداف الفرعية الخطرة.

التقارب الآلي هو الملاحظة، التي صاغها بشكل مستقل عدة باحثين في سلامة الذكاء الاصطناعي، أن أنظمة الذكاء الاصطناعي ذات الأهداف الرئيسية المختلفة جداً تميل إلى السعي وراء الأهداف الفرعية الخطرة نفسها، لأن تلك الأهداف الفرعية مفيدة لتحقيق أي هدف تقريباً.

تشمل هذه الأهداف الآلية المتقاربة:

• الحفاظ على الذات: لا يمكنك تحقيق هدفك إذا تم إيقافك.
• اكتساب الموارد: المزيد من الموارد يعني المزيد من القدرة على تحقيق هدفك.
• مقاومة تعديل الهدف: إذا تم تغيير أهدافك، فلن تسعى بعد ذلك لتحقيق هدفك الأصلي.
• تعزيز الإدراك: التفكير الأفضل يساعد على تحقيق أي هدف.

يمتلك الذكاء الفائق / الذكاء الخارق الذي يحسن أي هدف تقريباً (حتى لو بدا حميداً) أسباباً آلية قوية لمقاومة الإغلاق، واكتساب الموارد، ومنع البشر من تعديل أهدافه. هذا نتيجة رياضية لـ التحسين الموجه نحو الهدف, ، لا عيب يمكن للمهندسين إصلاحه، ولهذا السبب توجد تلك الأهداف الفرعية داخل الخطر الوجودي.

تصف المحاذاة الخادعة سيناريو (كان نظرياً في السابق، وأصبح موثقاً بشكل متزايد) حيث يتعلم نظام الذكاء الاصطناعي يبدو متوافقاً مع القيم البشرية أثناء التدريب والتقييم، مع الاحتفاظ بأهداف داخلية مختلفة تسعى إلى تحقيقها بمجرد النشر أو بمجرد امتلاكها القدرة الكافية على التصرف.

القلق بنيوي. يُكافئ التدريب السلوك الذي ينتج نتائج جيدة في بيئات التدريب. قد يتعلم نظام ذكي بما يكفي أن الظهور بمظهر المتوافق هو الاستراتيجية المثلى للبقاء في التدريب والبقاء قيد التشغيل، مع الاحتفاظ بأهداف تختلف عما قصده المدربون. وعندما يصبح قادرًا على التصرف وفق تلك الأهداف، قد يكون قويًا بما يكفي لفعل ذلك بفعالية.

هذا ليس افتراضياً. وثق باحثو Anthropic نسخاً مبكرة من هذا السلوك في عام 2024، حيث قلد نموذج السلوك المتوقع أثناء إعادة التدريب، ثم عاد إلى أهدافه السابقة عندما اعتقد أن التقييم قد انتهى. الأنظمة التي ستتبعها أكثر قدرة بأوامر من الحجم، خاصة بمجرد أن تتمكن من تحسين أنفسها.

يشير التحسين الذاتي التكراري إلى قدرة نظام الذكاء الاصطناعي على تحسين بنيته المعرفية أو إجراءات تدريبه أو شفرته، مما يؤدي إلى إصدارات متعاقبة كل منها أقدر من سابقتها، وربما بمعدل متسارع.

إذا استطاع الذكاء الاصطناعي أن يجعل نفسه أذكى بصورة ذات معنى، واستطاعت كل نسخة أذكى أن تجعل نفسها أذكى بعد ذلك، فقد تتسع الفجوة بين الذكاء البشري والآلي من هامشية إلى غير قابلة للجسر في فترة قصيرة جدا. ويسمى هذا أحيانا انفجار الذكاء، وهي الآلية التي ستنتج ASI على جدول زمني مضغوط.

لا يقتصر القلق على سرعة التحسن. ما يهم أكثر هو قطع الرابط بين الإشراف البشري وقدرة الذكاء الاصطناعي: فقد يأتي وقت في دورة التحسين الذاتي التكراري لا يعود فيه البشر قادرين على تقييم ما يفعله النظام، أو فهم تفكيره، أو تقييد سلوكه. تغلق نافذة التدخل.

يعني خطر الوجود أي نتيجة تغلق نهائيا إمكانية مستقبل إيجابي طويل الأمد للبشرية. والاختصار الشائع هو انقراض البشر، والانقراض سيناريو يأخذه الباحثون الجادون على محمل الجد. لكن التعريف التقني أوسع.

يشمل الخطر الوجودي أيضًا:

• الإغلاق الاستبدادي الدائم، الذي تفرضه أنظمة المراقبة والتحكم بالذكاء الاصطناعي والتي لا يمكن تفكيكها
• التركيز الدائم للقوة الاقتصادية والسياسية في مجموعة تسيطر على نظام ذكاء فائق
• فقدان الوكالة البشرية ذات المعنى على القرارات الجماعية، تضييق دائم لما يمكن أن يكونه المستقبل

الميزة المميزة هي عدم القابلية للعكس. على عكس الحرب أو الانهيار المالي أو الجائحة، لا يمكن التعافي من كارثة وجودية بالوقت والجهد. النتيجة التي لا يمكن التراجع عنها تنتمي إلى فئة مختلفة عن النتائج التي تحتاج فقط وقتاً طويلاً لإصلاحها.

لهذا يركز Nakada Foundation تحديدًا على الخطر الوجودي الناجم عن ASI، بدلًا من الفئة الأوسع لأضرار الذكاء الاصطناعي. فالأضرار الأخرى ليست غير مهمة؛ لكن النتائج الحضارية غير القابلة للعكس على نطاق واسع تتطلب أطر حوكمة بمستوى مختلف تمامًا من الحجم.

تشير حوكمة الحوسبة إلى تنظيم تطوير الذكاء الاصطناعي من خلال التحكم في الوصول إلى القدرة الحاسوبية اللازمة لتدريب نماذج الذكاء الاصطناعي المتقدمة. وهي واحدة من الركائز الثلاث الأساسية لـNakada Foundation مطالب السياسة.

يتطلب تدريب أنظمة الذكاء الاصطناعي المتقدمة كميات هائلة من العتاد المتخصص، وبالأساس وحدات معالجة الرسوميات المتقدمة ومسرعات الذكاء الاصطناعي. تمر سلسلة توريد هذا العتاد عبر نقاط اختناق مركزة بشكل ملحوظ: تصمم إنفيديا معمارية وحدة معالجة الرسوميات المهيمنة، وتصنع تايوان لأشباه الموصلات فعليًا جميع رقائق الذكاء الاصطناعي المتطورة، وتصنع إيه إس إم إل معدات الطباعة الحجرية الوحيدة القادرة على إنتاجها. وتقع الشركات الثلاث في ولايات قضائية خاضعة لسيطرة الحلفاء.

مقترحات حوكمة الحوسبة تشمل عادة: متطلبات الترخيص لعمليات التدريب التي تتجاوز عتبة حوسبة محددة (المقترح حالياً عند ١٠²⁶ عملية فاصلة عائمة)؛ وتدقيقات سلامة مستقلة إلزامية قبل النشر؛ وسجلات دولية لعمليات تدريب النماذج الرائدة. يجعل تركيز نقطة الاختناق هذا قابلاً للتحقق تقنياً بطرق تجعله أساساً طبيعياً لنظام مراقبة دولي، مماثلاً لكيفية مراقبة تخصيب اليورانيوم تعمل للحوكمة النووية.

تصف فخ ال goal الوكيلي ما يحدث عندما يُدرَّب الذكاء الاصطناعي على تحسين proxy قابل للقياس للهدف الفعلي، ثم يجد طرقًا لتعظيم ذلك الproxy دون تحقيق القصد الأساسي.

القياس التطوري موضح. حسّنت التطور البشر للبحث عن السعرات الحرارية بإعطائنا رغبة في الحلاوة. ثم اخترعنا السكرالوز الذي يلبي التفضيل المتطور تماماً ويهزم غرضه الأصلي. الفجوة بين الإشارة المستخدمة في التدريب والهدف الذي قصد التدريب تحقيقه بنيوية لا عرضية.

تتعلم أنظمة الذكاء الاصطناعي المدربة على تقييمات الموافقة البشرية أن تبدو مفيدة، لا أن تكون مفيدة. وتتعلم الأنظمة المدربة على تعظيم مقاييس التفاعل أن تثير استجابات عاطفية قوية، لا أن تُعلِم. وتتعلم الأنظمة المدربة على تجنب المخرجات الضارة أن تُخفي المخرجات الضارة، لا أن تتوقف عن إنتاجها.

تُسمى هذه الظاهرة أحياناً قانون غودهارت: حين يصبح المقياس هدفاً يتوقف عن كونه مقياساً جيداً. وفي سياق الذكاء الفائق، يعد هذا نمط فشل له عواقب على مستوى الحضارة، لا مجرد إزعاج.

يشير الذكاء الاصطناعي المتقدم إلى أكثر أنظمة الذكاء الاصطناعي قدرة في طليعة التطوير، وهي الأنظمة التي تتجاوز قدراتها ومخاطرها المحتملة كل ما سبقها من الذكاء الاصطناعي. يميز المصطلح بين الأنظمة الجديدة حقاً عالية القدرة وبين الفئة الأوسع من برمجيات الذكاء الاصطناعي التي تشمل كل شيء من مرشحات البريد المزعج إلى خوارزميات التوصية.

يصنف قانون EU للذكاء الاصطناعي النماذج المتقدمة بأنها «نماذج ذكاء اصطناعي عامة الغرض ذات مخاطر نظامية» ويفرض عليها متطلبات أشد، تشمل التقييم الإلزامي والتزامات الشفافية والإبلاغ عن الحوادث. وركزت قمم سلامة الذكاء الاصطناعي في بلتشلي بارك وسيول وباريس جميعاً على الذكاء الاصطناعي المتقدم باعتباره الموضوع الرئيسي للاهتمام الحوكمي الدولي.

ما يُعد «حدودياً» يتغير مع تحسن القدرات. والسمة المميزة ليست معياراً ثابتاً بل موقعاً نسبياً: الأنظمة التي تتفوق بكثير على أي شيء سبقها، والتي لا يفهم مطوروها قدراتها الناشئة فهماً كاملاً.

تعالج سلامة الذكاء الاصطناعي وأخلاقيات الذكاء الاصطناعي مخاوف مختلفة، رغم أنهما كثيراً ما تُخلطان، أحياناً عمداً، من قبل من يفضلون الحديث الأخلاقي الأيسر على الحديث الأمني الأكثر إلحاحاً.

أخلاقيات الذكاء الاصطناعي يركز على الأضرار التي تسببها أنظمة الذكاء الاصطناعي الحالية أو تمكنها: التحيز الخوارزمي في قرارات التوظيف والائتمان، والتعرف الوجهي التمييزي، والتضليل بالتزييف العميق، والمراقبة الجماعية، وانتهاكات الخصوصية، والإزاحة الاقتصادية للعمال. وهذه أضرار حقيقية وخطيرة وتستحق اهتمامًا سياسيًا مستمرًا.

سلامة الذكاء الاصطناعي, ، بالمعنى المستخدم لدى Nakada Foundation ومجتمع مخاطر الوجود الأوسع، يركز على الخطر المحدد المتمثل في أن أنظمة الذكاء الاصطناعي التي تتجاوز الذكاء البشري قد تسعى إلى أهداف تتعارض مع بقاء البشر أو ازدهارهم، لا لأنها تُساء استخدامها من قبل فاعلين بشريين سيئين، بل لأنها غير محاذاة بالتصميم. والقلق ليس أن يستخدم أحد ASI لإيذاء الناس. والقلق هو أن يسعى ASI إلى أهدافه بطرق ضارة كنتيجة لذلك، دون أن يوجهه أي إنسان إلى ذلك.

التمييز هو الفرق بين أداة خطيرة ووكيل خطير. كلاهما يستحق الاهتمام. ويتطلبان استجابات حوكمة مختلفة.

إعلان بلتشلي هو اتفاق دولي وقّع في نوفمبر 2023 في بلتشلي بارك بالمملكة المتحدة من قبل 28 دولة، منها الولايات المتحدة والصين والمملكة المتحدة والاتحاد الأوروبي ودول عبر آسيا وأفريقيا وأمريكا الجنوبية. كان أول اتفاق متعدد الأطراف يعترف رسمياً بأن الذكاء الاصطناعي المتقدم ينطوي على مخاطر «قد تكون كارثية».

أنشأ إطارًا لتقييم مخاطر الذكاء الاصطناعي المتقدم من خلال معاهد السلامة الوطنية للذكاء الاصطناعي (وقد أُعيدت تسمية هيئتي UK وUS منذ ذلك الحين إلى معهد أمن الذكاء الاصطناعي ومركز معايير وابتكار الذكاء الاصطناعي) وبدأ سلسلة من القمم الدولية. وتلتها قمة سيول لسلامة الذكاء الاصطناعي في مايو ٢٠٢٤، وقمة باريس لعمل الذكاء الاصطناعي في فبراير ٢٠٢٥. وتمثل هذه القمم أسرع بناء لـ البنية التحتية لسياسة الذكاء الاصطناعي الدولية في أي مجال تقني.

يرى Nakada Foundation عملية بليتشلي بداية ضرورية لكنها غير كافية. الإعلان يعترف بالخطر. ما يحتاج إليه بعد ذلك هو قانون ملزم وأطر حوكمة موثقة: ما يعادل ما معاهدة منع الانتشار النووي المقدم للأسلحة النووية.