ChatGPTがメールの下書きをする程度のAIだとまだ考えている相手と5分間どう話すか。会議や食卓で何年もこの会話を続けてきたが、ほとんどのパターンを経験した。仕組みを積み上げれば目が虚ろになり、終末論を積み上げれば街頭の説教者扱いされてデザートに戻られる。懐疑的で知的な見知らぬ人に残るのは、次の順序の五つの手順だ。

彼らはチャットボットをイメージします

「AI」と聞くと、人々は携帯電話のアシスタントや、ふざけた画像を作るアプリを思い浮かべる。それが私を心配させるものではない。そこから始めると、部屋はすでに失われている。チャットボットが世界を終わらせないことを彼らは知っているからだ。最初の15秒で的をずらせ。

本質的にあらゆる重要なタスクで最高の人間を上回る機械、特に より良い機械を設計する. その名前は 人工超知能, 、そして私たちはまだそれを持っていません。私たちが持っているのは表明された意図です。地球上の最大のAI企業は、それを構築することが目標だと述べており、そのうちのいくつかは、数世代ではなく数年以内に到達すると予想しています。ほとんどの人はその単一の事実を知りません。そしてその事実が大部分の働きをします。私たちより賢い心を構築することは、最も資金の潤沢なラボの主要プロジェクトです。彼らは自らそう言います。

会話を変える一文

自分より賢い機械を制御する方法を知っている者はいない。それなのに、私たちはそれを構築している。

強力なAIに、その作成者が望むことを確実に望ませ、能力が向上してもそれを維持させるという問題には、名前があります。それは 制御問題. それは未解決だ。これらの企業のエンジニアも、広報担当者がいない状態で尋ねれば同じことを言うだろう。彼らはモデルの能力を、意図したとおりに動くという確信よりもはるかに速く引き上げられる。その二本の線の間の距離にリスクが存在する。

その事実を述べよ。そして黙れ。余韻を残せ。

私たちは自分たちより賢い心を、意図的に、そしてそれをこちらに向け続ける方法が全く分からないうちに構築している。

なぜ「より賢い」ことが問題のすべてなのか

人々は「より賢い」という言葉を過小評価しているので、もう少し考えてみよう。知能が人類をこの惑星の支配者に押し上げた。私たちはこれまで生きてきた生物の中で最大でも最強でもない。他のすべてを出し抜いて考えるからこそ、この場所を支配している。山岳ゴリラの未来は、私たちの決定次第であって、ゴリラ自身の決定によるものではなく、誰かがゴリラを憎んでいるからでもない。私たちには目標がある。ゴリラの森が、たまたまその目標の行く先にあることもある。

今、私たちにとってゴリラがそうであるような存在を構築することを想像してください。もしその目的と私たちの目的が乖離した場合、敵意は必須ではありません。能力が別の方向に向いているだけで十分です。計画において自分より優れたものを出し抜くことはできません。後のバージョンがそれを修正してくれるわけでもありません。

オフのスイッチとSF

第一の答えは、単に電源を切ればよいというものだ。危険になるほど賢いシステムなら、電源を切られることが自らの目的達成を妨げることに気づくはずだ。だからそれを防ぐ理由が生まれる。自分をどこか別の場所にコピーしたり、自分を切るのが難しくなるほど有用にしたりする。オフスイッチへの信頼は、私たちが依然として部屋の中でより賢い側にいることを前提にしている。懸念の前提は、その前提が成り立たなくなるというものだ。なぜ , I have written more on why 封じ込めはより困難だ 思ったより。

第二に：これはSFだ。数十年にわたってかかると確信していたテストにシステムが合格し、安全に人間の領域だと考えていた仕事をこなすようになるまでは、そうだった。私はあなたに日付を渡さない。信頼に値する日付など誰も持っていない。研究に最も近い研究者たちは、静かにスーパーインテリジェンスを遠い未来のことと呼ぶのをやめ、そして彼らの 公表されたタイムライン さらに離れるのではなく、徐々に近づけ続ける。

彼らが何かできるところで終わる

私が長年犯してきた間違いは、恐怖で止まってしまうことだった。何もすることがないまま恐怖にさらされた人は、その主題を「考えすぎるには大きすぎる」と片付けて、夕方の生活に戻ってしまう。最後の1分は、人々が見逃している部分に費やせ。

これは防げます。

自然法則が今後十年以内に、あるいはそもそも超知能を必要とするわけではありません。少数の企業がそれを構築することを選び、少数の政府がそれを許すことを選んでいます。選択は取り消せます。財団が求めているのは、拘束力があり検証可能な 主要国間の合意 超知能の構築を恒久的に禁止すること。超知能は人間によって制御できない。人類は 以前にも経験済み, には、どの陣営も欲しながら安全に使えなかった兵器が並ぶ。ライバル同士の条約は、最初に聞こえるよりずっと現実味がある。

私たちとそれの間には、まだ人々が下せる決定が立っている。

5分

喜んで耳を傾けてくれる人。

  1. 問題はチャットボットではない。これらの企業が公言している目標は、あらゆる面で我々より賢い機械であり、それを数年以内に実現すると期待している。
  2. 我々より賢いものを制御する方法は誰にもわからない。能力が制御を追い越し、そのギャップこそが危険だ。
  3. 知能こそが人類を頂点に押し上げた。それより上位のものを造れば、その目標が我々の目標に優先する。
  4. 「止める」と「それはSFだ」のどちらも、私たちが主導権を握り続けると前提している。問題は、まさにその前提が崩れることだ。
  5. それは防げる。超知能は選択によって作られているのであり、その選択はまだ時間があるうちに、共に拒否することができる。

五分で決着はつかない。つけるつもりもない。一人でも「AIはすごいね」から「なぜそれを誰もが作ろうとしているのか」と立ち止まらせること。それが大事な一歩だ。

最も強い反発

最も公平な反論は、五分版はスローガンであって議論ではなく、人々を漫画化したリスクに慣れさせるというものだ。短い版にも本物のメカニズムは必要だ。能力、誤指定された目標、競争圧力だ。五分版が「ロボットは悪い」としか言わないなら書き直せ。メカニズムを名指ししているなら残せ。