Googleや他の研究者によるJason Weiらの論文は、モデル規模が閾値を超えるまで性能が偶然レベルに留まり、その後急激に上昇するタスクを分類した。多段階算術、専門領域の問題、訓練データにほとんど現れない言語での指示、複数段階の推論——これらはどれも意図的に設計された機能ではなかった。モデルが大きくなるにつれて現れたのである。論文はこれらを「創発的能力」と呼んだ。
その用法における創発的能力とは、小さいモデルにはなく大きいモデルにはある能力で、移行が滑らかな傾斜ではなくスイッチのように見えるものを指す。ある規模以下ではモデルはタスクを実行できない。それを超えると実行できる。その能力は小さいシステムの傾向からは読み取れなかった。
フラグを立てる価値のある本物の議論
創発は定説ではない。一部の研究者は、報告された飛躍のいくつかは部分的に測定のアーティファクトだと主張する。厳しいオール・オア・ナッシングの指標は、着実な基盤的進歩を突然のように見せ、一方より滑らかな指標は漸進的な改善を示す、というものだ。その批判は特定の事例に当てはまり、公平な検討に値する。
「それは実務的な問題を解消しない。能力が真の不連続として到来しようと、閾値を超えた後にのみ気づかれる急勾配の曲線として到来しようと、ガバナンスの状況は同じだ。我々は、モデルが新しいことをできると知るのは、それが可能になった後であって前ではない。政策立案者が次の訓練実行を安全にゴーサインを出せるかどうかを決める場合、本物の創発と急な曲線の区別は学術的だ。いずれにせよ、驚きは決定の向こう側にある。」.
なぜ予測不可能性が核心の問題なのか
より大きなモデルを訓練する前に、それが何をできるようになるかの完全なリストを、私たちは確実に予測できない。スケーリング則は損失などの広範な性能指標をかなりよく予測する。だが、どの特定の能力がいつ現れるかは特定しない。能力は個別より全体として予測しやすい。
For most abilities that is merely interesting. For safety-relevant ones it is alarming. The same unpredictability that yields a surprise talent for translation can yield a surprise talent for the tasks covered in 危険な能力の評価: サイバー支援、生物兵器の支援、大規模操作。誰も予想しなかった能力は、誰もテストせず、誰も防御策を講じなかった能力だ。
次のモデルが平均的な指標でどれだけ優れているかを大まかに予測することはできる。しかし、それが何をできるかをすべて予測することはできない。そのギャップにリスクが存在する。
それがスケーリングの方法に意味すること
創発は、規模の大きなジャンプのたびに部分的な暗闇への一歩に変えます。完全な能力プロファイルは、それが存在した後でしかわからないシステムを構築するのです。そのとき、危険な能力が付随していたなら、そのシステムはすでにその能力を持っています。それは、事前に測定して緩和できる既知の危険とは異なるリスクです。
財団の主張はここから直接導かれる。最先端のスケーリングは、作られているものを理解する能力より先んじてはならない。大型新システムの安全性を、訓練・展開前に証明する責任を負うべきであって、後から危険を発見する責任であってはならない。能力が予告なく現れる可能性がある以上、跳ぶ前に慎重になることだけが有効な慎重さである。その枠組みは 私たちの計画. The shortening timelines that raise the stakes are covered in the 人工汎用知能 タイムライン.