أدوات

P(doom) حاسبة

P(doom) هو احتمال أن يؤدي الذكاء الاصطناعي المتقدم إلى كارثة للبشرية. وليس رقما واحدا. خمسة أحكام تدخل فيه. حرّك المزلقات لتحدد رأيك في كل منها، ثم قارن النتيجة بباحثين يضعون الخطر عند النصف أو أعلى. موقف المؤسسة بسيط: يجب ألا يُبنى الذكاء الفائق الاصطناعي.

1. الذكاء الفائق يُبنى هذا القرن 90%

احتمال أن تتجاوز أنظمة الذكاء الاصطناعي القدرة المعرفية البشرية في معظم المجالات قبل عام ٢١٠٠، في ظل مسار تنافسي مشابه للمسار الحالي.

2. نحن لا نحصل أبداً على سيطرة موثوقة 80%

احتمال فشلنا في إبقاء مثل هذا النظام تحت سيطرة بشرية موثوقة قبل فوات الأوان لإيقافه.

3. يُمنح قوة حقيقية 85%

احتمال نشر نظام يتمتع بوصول عالي المخاطر: الشبكات، الأدوات، المال، أو الأنظمة المادية.

4. الفشل على مستوى الحضارة 80%

احتمال أن يكون الفشل على نطاق حضاري بدلاً من احتوائه واحتواء آثاره في الوقت المناسب.

5. لا يمكن للبشرية التعافي 90%

احتمال أن تكون الكارثة دائمة: الانقراض أو فقدان لا رجعة فيه لمستقبل موجه بشريًا.

هذا التقدير ليس تنبؤا بشيء خارج متناولنا. لا يُبنى الذكاء الفائق إلا إذا واصلنا بناءه. أوقف ذلك المشروع وينخفض P(doom) معه.

كيف يتم حساب ذلك

كل منزلقة تمثل جزءًا من الحكم. ويُبلغ الحاسبة المتوسط الهندسي للنسب المئوية الخمس.

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

اضبط الخمسة جميعاً على ٨٠ والنتيجة ٨٠. أنزل شريطاً واحداً فتنخفض النتيجة معه. أما منتج من خمس خطوات فيرسل المدخلات نفسها نحو الصفر: ٥٠٪ على كل خطوة تظهر كـ٣٪. هكذا لا يذكر هينتون أو تيغمارك أو يودكوفسكي رقماً. المتوسط يبقيك على مقياسهم.

استخدم تقرير جو كارلسميث لعام 2021 منتجًا حقيقيًا للمقدمات، ولهذا السبب كان رقمه المبكر قريبًا من 10% حتى مع الشروط الجادة. تعامل مع هذا الإخراج كمساعدة في التفكير.

P(doom) تقديرات
  • Yann LeCun
    Meta؛ بيانات عامة    <1%
  • الباحث المتوسط في تعلم الآلة
    استطلاع تأثيرات الذكاء الاصطناعي لأكثر من 2700 باحثاً، 2023    ~5%
  • Joe Carlsmith
    تقرير Open Philanthropy، 2021 (تمت مراجعته لاحقاً صعوداً)    ~10%
  • Paul Christiano
    باحث المحاذاة؛ تقديرات عامة    ~20%
  • Geoffrey Hinton
    حائز على جائزة نوبل؛ مقابلات، 2023-2025 (نطاق يصل إلى حوالي 50%)    ~50%
  • Daniel Kokotajlo
    سابق في OpenAI؛ مقابلة مع نيويورك تايمز، 2024    ~70%
  • Dan Hendrycks
    Center for AI Safety; بيان عام، 2023    >80%
  • Andrew Critch
    UC Berkeley CHAI؛ تقديرات عامة، 2024    ~85%
  • Max Tegmark
    MIT; Future of Life Institute; التقديرات العامة    >90%
  • Connor Leahy
    تخمين؛ تقديرات عامة    90%+
  • Eliezer Yudkowsky
    MIRI; إذا بناه أحد، مات الجميع    >95%
  • Nate Soares
    رئيس MIRI؛ مؤلف مشارك مع يودكوفسكي    >95%
  • Roman Yampolskiy
    University of Louisville؛ أبحاث سلامة الذكاء الاصطناعي    ~99.9%
المزيد من الأدوات التفاعلية
جميع الأدوات →
مقارنة
كيف يقارن خطر الذكاء الاصطناعي
اختبار
اختبر معرفتك بسلامة الذكاء الاصطناعي