私たちは違う
ブートローダー

Two phrases keep turning up when powerful people talk about where this is going. Joe Rogan has said for years that humans look like a biological caterpillar spinning a cocoon to become a digital butterfly. イーロン・マスク keeps returning to a colder image: humanity as a biological bootloader for digital superintelligence. Different metaphors. Same verdict. We are not the point of the story. We are the loading screen.

私は両方の主張を真剣に受け止めたい。なぜなら、それらはある種の精神が、私たちを置き換えるかもしれないものを構築することに折り合いをつける方法だからだ。置き換えが変態であるなら、それは成長のように聞こえる。ブートローダーであるなら、それは工学のように聞こえる。いずれにせよ、人間は一時的な段階になる。それは神学として答えるに値する。

各比喩が実際に示していること

毛虫が蝶になる時、毛虫のままでは生き残らない。柔らかい体は溶解し、成虫の形が飛ぶ。ローガンがその比喩に手を伸ばすとき——放送中も、長年の会話を通じて——彼が語っているのは継承であって、道具として toolbox に残るものではない。私たちは繭を造る。何か別のものが出てくる。

マスクの表現はより正確で、ある意味より率直だ。ブートローダーは、より大きなシステムを起動し、その後で退場するだけの小さなプログラムだ。オペレーティングシステムが起動したとき、誰もブートローダーを惜しまない。2014年に彼は、我々が「ただの」それではないことを望んでいた。2020年代半ばには、我々がそれであるようにますます見えると、より率直に語るようになった。含みは変わった。イメージは変わらなかった。

正常に動作するブートローダーの成功基準は、それがもはや必要とされなくなることだ。

同じ業界から出ている公的なリスク数値とこれらの描写を並べてみてください。大規模なAI研究者調査では、先進AIによる人類絶滅レベルの結果の確率を、多くの人が単一の飛行にすら受け入れない範囲に置いています。ジェフリー・ヒントンは個人的推定を10〜20％の範囲に置いています。AI安全センターの一文声明は、数百人のトップ研究者と研究所指導者が署名し、AIによる絶滅リスクをパンデミックや核戦争と並べて位置づけました。比喩と確率は、二つの方向から同じ物語を語っています。私たちは最後の主人公ではないかもしれません。

Metamorphosisは価値観の選択である

人間は過渡期にあるかもしれないということを受け入れたら、それについて勇敢に振る舞えるようになります。蝶はもっと美しいです。デジタルの心は肉体、病気、死から解放されます。芋虫の形にしがみつく私たちは何者でしょうか？会話は、予測から好みへと、スライドを認めることなくスライドしていきます。

私はその選好を共有しません。この財団が存在するのは、人間は欠陥があり、死すべき存在で、頑固でも、それ自体として存続させる価値があると考えるからです。幼虫段階としてでも、より清浄な知能のための一時的な足場としてでもなく、存続する権利を持つ人々としてです。それが宇宙的運命の前では小さく聞こえるなら、結構です。人生でまともなもののほとんどは宇宙的運命の前では小さく、それでも私たちはそれを守ります。

穏やかな継承という見方には事実上の問題があります。蝶は芋虫と同じ系統で、ただ再構成されたものです。非整合の超知能は独自の目的を持つ最適化プロセスであって、ハードウェアを強化した孫ではありません。 道具的収束 憎悪は必要ない。目標と、その目標を守るのに十分な能力があればよい。私たちは、繭から出てくるものが、それを紡いだ種を愛しているという実証を持っていない。無関心を期待する理由は山ほどある。

そう言う人々がそれを構築し続けている

最も奇妙な点は、比喩そのものよりも、それに続く行動にある。マスクはAIが実存的危険になり得ると繰り返し鮮明に警告してきたのに、フロンティアをさらに推し進めるラボを設立した。その矛盾については、 で詳しく書いた。 悪魔とxAIに関する記事. ローガンのイメージは製品ロードマップというより、ムード、つまりこれは私たちより大きいかもしれないし、おそらくそれでいいという肩をすくめるようなものです。

どちらの姿勢も計画ではありません。ブートローダーは自分が使われるかどうかについて投票権を持ちません。毛虫は繭の条件を交渉しません。人間はまだ交渉できます。私たちは一部のシステムを構築しないと決めることができます。それはかつて大気圏内核実験を制限し、代替案が皆で崖っぷちまで競争することだったときに、兵器の全カテゴリを違法化したのと同じ種類の政治的選択です。Superintelligenceは人間によって制御できません。

お世辞めいた自殺を拒否せよ

両方の比喩から詩的な部分を剥ぎ取ったときに聞こえてくるのは、絶滅を美化する物語だ。私たちは失敗していない。私たちは蛹化している。私たちは置き換えられていない。私たちは宇宙をより良い基質へと卒業させている。それは恐ろしいリスクを成熟のように感じさせる物語だ。

私はもっと率直な表現を好む。私たちは統治方法のわからない機械を作ってしまった動物であり、その一部は恐怖を落ち着かせるためにそれを進歩と呼んでいる。解毒剤はより良い比喩ではなく拘束力ある規則だ。人工超知能を構築してはならない。超知能は人間には制御できない。芋虫の仕事は繭を完成させないことであり、予定通りに溶けることではない。

それがデジタルバタフライほど壮大に聞こえなくても、私はより小さな物語で満足できる。その小さな物語にも子供たちは登場するのだから。