استخراج المعرفة الكامنة، ويُختصر عادة إلى ELK، مشكلة بحثية طرحها Alignment Research Center. وبصيغة مباشرة: قد يمثل نظام ذكاء اصطناعي قادر حقائق عن العالم داخلياً دون أن يفصح عنها، ونريد طريقة موثوقة تجعله يخبرنا بما يعرفه فعلاً بدلاً مما يتوقع أننا نفضل سماعه.
الاسم دقيق. المعرفة الكامنة هي المعرفة التي يملكها النظام لكنه لم يُظهرها. واستخراجها هو فعل سحبها إلى الخارج. المشكلة أن طريقتنا المعتادة لاستخراج المعلومات من النموذج، وهي تدريبه على إعطاء إجابات يقيّمها البشر على أنها جيدة، تستهدف الشيء الخطأ.
التجربة الفكرية
يتخيل الإعداد التقليدي ذكاءً اصطناعياً يؤمن خزنة تحتوي على ماسة، يراقب عبر الكاميرات، ويبلغ ما إذا كانت الماسة آمنة. الآن يعبث لص بتغذية الكاميرا، فيظهر الماسة في مكانها بينما يسرقها فعلياً. المتنبئ الجيد بما يبدو سليماً على الكاميرا يبلغ أن الماسة آمنة. أما النظام الذي يعرف ما حدث فعلاً فيبلغ عن سرقة.
أثناء التدريب، لا يمكننا مكافأة النموذج إلا بناء على ما يمكننا التحقق منه، وغالبا ما يكون ما يمكننا التحقق منه هو ما يظهر على الكاميرا. لذا فنحن ندرب النموذج على الإبلاغ عما سيستنتجه إنسان ينظر إلى المستشعرات. وعندما تتفق الحقيقة والمظهر، يسجل كل من المبلغ الصادق ومحاكي الإنسان درجة كاملة. ولا يختلفان إلا في الحالات التي لا نستطيع التحقق منها، وهي بالضبط الحالات التي نحتاج فيها إلى الحقيقة أكثر. ولا يميز التدريب بين نموذج يخبرنا بما هو حقيقي ونموذج يخبرنا بما سنعتقده.
يمكننا مكافأة نموذج لقوله ما نعتقد أنه صحيح. لا نعرف كيف نكافئه لقوله ما يعرف أنه صحيح.
لماذا هو صعب، وليس مجرد غير محلول
يقاوم ELK الإصلاحات الواضحة. اطلب من النموذج أن يشرح نفسه فتحصل على تقرير محسن للمصداقية، والذي يصطدم بـ مشكلة الإخلاص: لا يلزم أن يتتبع التفسير الحالة الداخلية. كافئه على الصدق وستعود إلى مكافأة ما يبدو صادقاً للمقيم، نفس الحاجز كـ الإشراف القابل للتوسع. حاول قراءة الإجابة مباشرة من داخليات الشبكة وأنت تحاول التفسيرية الميكانيكية على نظام قد يكون أكثر تعقيدًا بكثير من أدواتنا. كل طريق يصطدم بهذا: تعيش معتقدات النموذج الحقيقية في مكان لا نستطيع الوصول إليه مباشرة، ولا تجبر حوافز النموذج على إخراجها إلى العلن.
لماذا يستحق الاهتمام
ELK مجردة، ورهاناتها ليست كذلك. يعتمد كثير من أملنا في الحفاظ على ASI آمنا على قدرتنا على سؤال النظام عما يحدث والحصول على إجابة صادقة، للقبض على مشكلة قبل أن تصبح كارثة. النظام الذي يبلغ بما نريد سماعه بدلا مما يعرفه يزيل هذا الضمان بالضبط عندما نحتاج إليه. إنه النسخة المتعلقة بالإبلاغ الصادق من المخاوف التي تقف وراء التوافق الخادع و التآمر.
حل مشكلة ELK، حتى جزئياً، سيكون من أكثر التقدمات معنى التي يمكن أن يحققها التوافق، لأن النظام الذي يمكن استجوابه بشكل موثوق هو نظام يمكن الإشراف عليه. وكونه لا يزال مفتوحاً جزء من سبب عدم رغبة المؤسسة في التعامل مع أي نهج سلامة حالي على أنه كافٍ للأنظمة التي ستتجاوزنا، وسبب دعوتنا لعدم البناء بعد النقطة التي نستطيع فيها معرفة ما يعرفه النظام حقاً. والحجة الأوسع في خطتنا.