فهرس جيسون وي وزملاؤه في Google وغيرها المهام التي بقي الأداء فيها قريبا من الصدفة حتى تجاوز حجم النموذج عتبة معينة ثم ارتفع بشدة. الحساب متعدد الخطوات، والأسئلة المتخصصة في مجال معين، والتعليمات بلغات نادرة الحضور في بيانات التدريب، وسلاسل خطوات التفكير: لم يُصمم أي منها كميزة. ظهرت مع نمو النماذج. وأطلقت الورقة عليها القدرات الناشئة.
القدرة الناشئة، في ذلك الاستخدام، هي قدرة لا يملكها نموذج أصغر ويملكها نموذج أكبر، حيث يبدو الانتقال أقل شبهاً بمنحدر سلس وأكثر شبهاً بمفتاح. تحت مقياس معين لا يستطيع النموذج أداء المهمة. وبعد ذلك المقياس يستطيع. ولم تكن القدرة قابلة للقراءة من اتجاه الأنظمة الأصغر وحدها.
نقاش حقيقي يستحق الإشارة إليه
الظهور ليس علماً محسوماً. يجادل بعض الباحثين بأن نصيباً من القفزات المبلغ عنها هو جزئياً أثر قياسي: مقياس قاسٍ كل شيء أو لا شيء يجعل التقدم الثابت الكامن يبدو مفاجئاً، بينما يظهر مقياس أكثر سلاسة تحسناً تدريجياً. ينطبق هذا النقد على حالات محددة ويستحق سماعاً عادلاً.
لا يحل المشكلة العملية. سواء وصلت القدرة كانقطاع حقيقي أو كمنحنى حاد لم يلاحظ إلا بعد تجاوز عتبة، فإن وضع الحوكمة واحد. نتعلم أن نموذجا يستطيع فعل شيء جديد بعد أن يستطيعه لا قبله. بالنسبة لصانع السياسات الذي يقرر ما إذا كان تشغيل التدريب التالي آمنا للموافقة عليه، فإن الفرق بين الظهور الحقيقي والمنحنى الحاد أكاديمي. في كلتا الحالتين يقع المفاجأة على الجانب البعيد من القرار.
لماذا يُعد عدم القدرة على التنبؤ المسألة الجوهرية
لا نستطيع التنبؤ بثقة، قبل تدريب نموذج أكبر، بالقائمة الكاملة لما سيكون قادرًا على فعله. تتوقع قوانين التوسع مقاييس الأداء العامة مثل الخسارة توقعًا جيدًا reasonably. ولا تسمي القدرات المحددة التي ستظهر، أو متى. والقدرة أكثر قابلية للتنبؤ في المجمل منها في التفاصيل.
بالنسبة لمعظم القدرات فهذا مجرد أمر مثير للاهتمام. أما بالنسبة للقدرات ذات الصلة بالسلامة فهو أمر مقلق. إن عدم القدرة على التنبؤ نفسه الذي ينتج موهبة مفاجئة في الترجمة قد ينتج موهبة مفاجئة في المهام التي تغطيها تقييمات القدرات الخطرة: مساعدة سيبرانية، مساعدة في صنع أسلحة بيولوجية، التلاعب على نطاق واسع. القدرة التي لم يتوقعها أحد هي قدرة لم يختبرها أحد ولم يبنِ أحد ضمانات ضدها.
يمكننا التنبؤ تقريباً بمدى جودة النموذج التالي على المقاييس المتوسطة. لا يمكننا التنبؤ بكل ما سيكون قادراً على فعله. تلك الفجوة هي موضع الخطر.
ما يعنيه ذلك لطريقة توسيع نطاقنا
يحول الظهور كل قفزة كبيرة في الحجم إلى خطوة نحو الظلام الجزئي. تبني نظامًا لا تتعلم ملف قدراته الكامل إلا بعد وجوده. وبحلول ذلك الوقت، إذا جاءت معه قدرة خطيرة، فإن النظام يمتلكها بالفعل. هذا خطر مختلف عن الخطر المعروف الذي يمكن قياسه والتخفيف منه مسبقًا.
تتبع حجة المؤسسة مباشرة. يجب ألا يسبق التوسع الحدودي القدرة على فهم ما يُنشأ. يقع العبء على إثبات سلامة النظام الجديد الكبير قبل تدريبه ونشره، لا على اكتشاف مخاطره بعد ذلك. حين قد تصل القدرات دون إعلان مسبق، فإن الحذر قبل القفزة هو الحذر الوحيد المفيد. هذا الإطار موجود في خطتنا. تُغطى الجداول الزمنية المتسارعة التي ترفع المخاطر في AGI الجدول الزمني.