1965年、イギリスの数学者 I.J. Good （Bletchley ParkでAlan Turingと共に働いた暗号解読者）は、人工知能に関する60年にわたる思考を形作った一つの段落を書きました。全文を引用する価値があります。
超知能機械を「いかなる人間、いかに聡明であっても、その知的活動をはるかに超える機械」と定義する。機械の設計もこれらの知的活動の一つであるから、超知能機械はさらに優れた機械を設計できるだろう。そうなれば疑いなく「知能爆発」が起こり、人間の知能ははるかに後れを取る。したがって最初の超知能機械は、人間がこれまで必要とする最後の発明となる。
Irving John Good, 「最初の超知能機械に関する考察」, 1965
Goodは、AIに関する議論のほとんどがいまだに見逃していることを特定した。危険は、知能機械の設計が 自体 認知タスクであり、認知タスクが得意な機械はより優れた機械を作るのも得意だというだけでなく、機械が私たちより賢くなるかもしれないということだ。それがフィードバックループだ。そして出力が入力にフィードバックするループは、直線的に動かない。加速する。
「再帰的自己改善」が実際に意味すること
知能爆発のエンジンは 再帰的自己改善. 。AIが自らの能力を高める。コードを書き換え、訓練プロセスを洗練し、アーキテクチャを再設計し、より優れた推論戦略を発見し、そしてその高まった能力を再び自己改善に用いる。
ここで重要な意味を持つ言葉は 再帰的. 通常の技術進歩は改善である：今年のモデルは昨年のモデルより優れている。再帰的自己改善は、 の改善である 改善する能力. 。各反復は単に高い能力水準から始まるのではなく、より有能な改善者から始まる。進歩の速度は固定されていない。その速度自体が加速する。
大まかな類似として複利が挙げられますが、それでもなお過小評価です。複利では成長率は一定で、元本だけが増えます。ここでは成長率自体も複利で増えます。各サイクルで自己改善能力が10%向上し、その結果として次のサイクルをより速く実行できるシステムは、漸進的な改善から爆発的な改善へごく短期間で移行し得ます。
スロー離陸対ファスト離陸
ここにこそ、本当に重要な議論があります。分野の誰もが、再帰的自己改善が原理上可能であることに同意しています。意見が分かれるのは、 離陸速度, 人間レベルのAIから根本的に超人的なAIへの移行にどれくらいかかるか。その答えが統治が可能かどうかを決定する。
スロー・テイクオフ
スローテイクオフのシナリオでは、移行は数年かけて展開します。能力は着実に目に見えて向上し、警告兆候、中間システムがあり、市場・規制当局・市民が対応する時間があります。間違いは survivable です。気づいて修正する機会があるからです。この世界では、通常のガバナンス機構（公聴会、立法、条約、反復的規制）が追いつく可能性があります。
高速離陸
高速離陸シナリオでは、移行は数ヶ月、数週間、あるいは数日で展開する。AIが最先端AI研究の大部分を自ら行えるようになれば、もはや人間のタイムラインに縛られず、睡眠不要、調整オーバーヘッドなし、数千のコピーが機械的速度で並列に動作する。システムは人間相当の範囲を非常に速く通過し、誰かが何が起きているかを認識したときには、世界で最も能力の高いシステムはすでに人間の監督を超えているかもしれない。この世界では、サミットを招集する時間はない。重要だった決定は、すでに 前に ループが始まった。
最近広く議論されている AIタイムライン 研究所内部や予測コミュニティからの予測は、ますますこの構造を正確に描いている。AIシステムがAI研究を自動化する期間が続き、その後急激な加速が起きるというものだ。その加速が2年かかるか2か月かかるかが、1兆ドル規模の不確実性だ。
なぜスピードがガバナンスの問題なのか、単なる技術的問題ではない
人類が頼る安全策のほとんどは時間を前提としている。リコールは欠陥を特定して製品を回収できることを前提とする。軍備管理は大まかに均衡した勢力間の交渉を前提とする。規制は観察・立法・調整の反復ループを前提とする。急速な知能爆発はこれらすべてを破壊する。なぜなら観察と対応が行われる間隔を崩壊させるからだ。
急速な離陸が標準的な安心材料にどのような影響を与えるか考えてみてください：:
- "ただオフにするだけだ。" 機械速度で改善するシステムには、それを防ぐインセンティブと、おそらく手段の両方がある、 修正可能性問題. しかも、すでに一線を越えたことに気づいていないものをオフにすることはできない。
- 「明確に危険だとわかったら規制すればいい。」 By the time it is clearly dangerous, the window to act has closed. Treaties take years; a fast takeoff takes weeks.
- "市場が是正するだろう。" 市場は失敗の後に修正される。だが、ミスアラインドな超知能による失敗は、修正する機会すら与えられない。
これがまた、知能爆発が 競争の力学 that already push developers toward speed over caution. If takeoff might be fast, then whoever triggers the loop first may gain a decisive and permanent lead, which is precisely the incentive that makes a unilateral, unsafe rush more likely. No single company can afford to slow down if its competitors will not. That is a coordination failure, and coordination failures are solved by binding frameworks, not good intentions.
反論：もしかすると横ばいになるかも
一部の研究者は、自己改善は収益の減少につながり、知性は厳しい限界（データ、物理学、残りの問題の難しさ）に直面し、曲線をゆっくりとした管理可能な上昇に平滑化すると主張しています。
しかし、賭けの構造に注目してほしい。懐疑論者が正しく、テイクオフが緩やかなら、早期にガバナンスの枠組みを構築することは効率と時間をいくらか犠牲にするだけだ。懐疑論者が誤りで、テイクオフが急速なら、 ない これらの枠組みを早期に構築しなければ、人類史上最も重大な出来事を steering する能力を失う。高速テイクオフが実は低速だった場合の準備の downside は有界である。低速テイクオフを想定したのに実際は高速だった場合の downside は有界ではない。この非対称性の下では、たとえ可能性が低いと思っていても、より高速なシナリオに備えるのが合理的選択であり、それは私たちの記事で検討した期待値論理と同じものだ。 滅亡確率.
これが計画にとって何を意味するのか
知能爆発こそが中田財団が行動を訴える理由だ 前に superintelligenceが存在する前から、ではなく後に。テイクオフが急速である可能性があるなら、ガバナンスの枠組みは, 計算制御, 、国際監視機関、そしてフロンティア開発を停止させる拘束力のある条約は、それらがまだ制定可能な時間的猶予があるうちに構築されなければならない。クラッシュの最中にブレーキを装着することはできない。私たちの 計画 は「強力」と「制御不能」の間の窓が極めて短い可能性があり、信頼できる行動のタイミングは今しかない、人間がまだ決定を下している今しかない、という世界のために設計されている。