物理学における特異点とは、ある量が無限大に発散し、それまで使っていた方程式が意味のある答えを出さなくなる点のことです。通常の例はブラックホールの中心です。この言葉を技術に借りてくると、技術的特異点になります。それは、機械知能が変化を非常に速く、かつ深く駆動し、私たちの予測能力や次に何が起こるかを理解する能力さえ崩壊するような、仮定された点です。

それは地平線に関する主張であり、知能駆動の進歩が人間の理解を追い越す境界を指すもので、特定の装置が到着するという主張ではない。

そのアイデアの出所

この系譜を知っておく価値がある。なぜなら用語の使い方が緩くなっているからだ。数学者ジョン・フォン・ノイマンは1950年代に、技術的進歩が歴史の決定的な特異点に近づいていると示唆したと伝えられている。1965年にI.J.グッドは 知能爆発, 、特異点のほとんどのバージョンが依拠するメカニズムです。SF作家で数学者のヴァーナー・ヴィンジが1993年のエッセイで現代的な概念に名前と力を与え、人間を超える知性の創出が予測可能な歴史の織物を引き裂くと論じました。その後、発明家のレイ・カーツワイルが幅広い読者に向けてこれを普及させ、2045年頃に特異点が訪れると位置づけ、指数関数的な技術トレンドというより広い物語に織り込みました。

同じ言葉を被った異なる主張であり、それがシンギュラリティに熱狂と白眼視の両方を集める一因でもある。

下にあるエンジン

味付けを削ぎ落とせば、核心の仕組みは単純です。機械を作る能力で人間を上回る機械を作れれば、それには自身の知能を改善する能力も含まれるため、改善が自己増強します。より賢いシステムほど次のシステムを生み出すのが上手くなり、進歩の速度は一定ではなく上昇します。このループを回せば、能力は人間レベルから短期間でそれをはるかに超えるところまで跳ね上がる可能性があります。

知能爆発は、シンギュラリティという言葉が本気で使われる場合のほとんどで、その実質的な内容を指している。それに伴う予測不能性の予測はこうだ。システムが機械速度で自己改善を始めたら、その軌道は人間の予測が及ぶ範囲から外れる。我々はそのメカニズムをその 独自の解説, 、そしてそこに本質がある。

批判

  • 自己改善は厳しい限界にぶつかるかもしれない。知能は収穫逓減、データボトルネック、物理的制約に直面し、爆発ではなく緩やかな上昇にカーブを平坦化させる可能性がある。
  • この概念は曖昧です。支持者によって意味が異なり、Kurzweil的な壮大なバージョンは自信たっぷりの日付予測と、ほとんど神秘的な響きを伴うため懐疑を招きやすい。
  • 指数関数的なトレンドは曲がる。爆発的に見える曲線は、しばしば平坦化するS字曲線の初期部分であることが判明する。

これらはどれも理にかなっていますし、どれも特異点が誤りであることを必要とするものではなく、不確実であることを必要とするものです。劇的で名前のついた出来事への疑いを、根本的なリスクを溶かすものとして扱うのが誤りです。

なぜラベルがメカニズムより重要でないのか

特異点という言葉を、その予言めいた響きと正確な日付とともに完全に拒否しても、政策にとって重要な部分は残ります。本質的な問いは、機械知能が私たちをはるかに超えるシステムへの移行が監督や統治を上回る速度で起こり得るかどうかであり、2045年に神秘的な瞬間があるかどうかではありません。それは タイムライン と離陸速度であり、警告を発するために壮大な枠組みを必要としない。

その言葉を外しても構わない。指し示す問題——操縦不能な速さの移行——は、言葉がなくても現実だ。

The Foundationの懸念は、その特定の控えめなバージョンです。超人的AIへの駆け上がりが急速である可能性があるなら、確実にガバナンスを構築し制御を維持できる唯一の時期は、それが始まる前、人間がまだ決定権を持っている間です。The 競争圧力 その閾値に最初に到達しようとすることは滑走路を短くするだけだ。向こう側をシンギュラリティと呼ぼうと、対応は同じであり、それは 私たちの計画.

シンギュラリティは決して起こってはならない

The Foundation's position is prohibition, not prediction. Superintelligence cannot be controlled by humans. The horizon this word names is a takeoff past the point where we still decide. It is the same crossing as superintelligenceの構築. シンギュラリティは決して起こってはならない。