Why the Machine That Beat Kasparov
Didn't Take Over the World

1秒間に2億手。それが1997年5月にガルリ・カスパロフを破ったとき、IBMのDeep Blueがチェスを処理した速度だった。私はこの対局に何度も立ち返る。なぜなら、それは当時も今も私たちが機械を誤読してきたことの、きれいなモデルだからだ。そしてその答えにかかっているものは、はるかに大きい。カスパロフが負けた相手は、自分がチェスをプレイしているとあなたに言えなかった機械だった。それがなぜ真実なのか、そしてそれがなぜ機械を危険にしなかったのかを理解することは、先週リリースされたモデルについて書かれていることのほとんどよりも価値がある。

ギャリー・カスパロフは、当時最強の選手であり、世代を超えても最強の一人と言われる選手だったが、ディープ・ブルーと呼ばれるプログラムに三勝二敗半で敗れた。翌朝の新聞の見出しは終わりについてだった。人間の優位性の終焉。約三十年経った今も、その対局には教訓があり、見出しが語ったこととはほぼ正反対のものだ。

たった一つのことに超人的な機械

ディープ・ブルーはカスパロフと同じようにチェスを考えていたわけではない。探索していたのだ。IBMが専用に作ったそれは、毎秒約2億の局面を調べ、グランドマスターの助言を得てエンジニアが調整した評価関数に各局面を通していた。人間が到達できる先よりはるか先まで読み、最高の評価を得る手を指した。それがすべてだった。

それ以外のほぼすべてはできませんでした。子供に優しく教えるゲームはできませんでした。チェッカーをすることも、時計を読むことも、写真の中からチェス盤を見つけることもできませんでした。自分が勝ったことを知りませんでした。対局が終わるとIBMは電源を切り、後で分解しましたが、抵抗はしませんでした。抵抗する「中身」がいなかったからです。Deep Blueは一つの限定された問題に向けられた magnificent な道具でした。その問題から一インチ外に出れば、それは inert でした。

これを心に留めておいてほしい。1997年に機械が超人的領域に踏み込み、空は落ちなかった。チェスは死ななかった。今日、チェスは歴史上どの時点よりも人気がある。Deep Blueの勝利が安全だったのは、その強さが盤面の端を超える到達範囲を持たず、意志もなかったからだ。医学や科学を変革している現在の狭いツールが贈り物であって脅威ではない理由も、私が長く論じたのと同じ理由だ。 超知能なしで実現できる未来についての別稿.

私たちは計算を意図と勘違いした

最初の対局からずっと心に残っている瞬間がある。Kasparovはその対局に勝ったが、Deep Blueがある手（44手目）を指した。それは明らかに意味が通じない手だった。Kasparovはそれを研究し、微妙で自分には追いつけない計画を見ていると結論づけた。それが彼を動揺させた。彼は、単なるプログラムがそんな手順を指せるはずがなく、幕の向こうで人間のグランドマスターが手を供給しているのではないかと疑い始めた。

それを開発した人々の説明によれば、あの動きはバグだった。気に入った手が見つからず、Deep Blueはデフォルトに戻り、ほとんどノイズに近い手を指した。現役最強のチェス頭脳は、グリッチの中に天才が自分を見返しているのを見た。彼は二度と完全に足場を取り戻せず、その疑念は試合の残りを通じて彼を付きまとった。

私たちは説明できない行動に出会うと、そこに心を見てしまうようにできている。機械は知能を持つ必要はない。私たちがそうだと納得すればそれでいい。

この対応関係は現在にそのまま当てはまります。今日のシステムは流暢で自信たっぷりな、人間らしい言語を生成し、私たちはカスパロフがフォルトに戦略を読み取ったのと同じように、流暢さの中に理解を読み取ります。「誰かが中にいる」という感覚は強力です。それはほとんど投影です。私たちが実際には検証していない信頼を渡してしまう、まさにそのメカニズムです。システムが何かを理解しているかどうかはともかく、私たちは機械が理解しているかのように振る舞います。この反射は新しいものではありません。1997年にディープ・ブルーの対戦相手が感じたものと同じです。そしてあなたは 2つの質問を切り離す 同じように。

チャンピオンは崩れ落ちた。機械は何も感じなかった。

カスパロフがDeep Blueに負けたのは計算力だけではない。二戦目では、後の分析で引き分けだった局面を投了した。機械が自分より先を読んでいると確信しすぎて、持ちこたえられたはずのゲームを放棄した。最終戦では動揺しすぎて、序盤の既知の罠にまっすぐ飛び込み、穏やかな午後なら見えていた駒の犠牲を受け、19手で終わった。

機械はこれを何も感じなかった。傷つく自我もなく、恐れる記者会見もなく、次の試合に持ち越す失敗の記憶もない。この非対称性は永続的であり、チェスだけの話ではない。人が疲れを知らず自分を疑わないシステムと競争し、または依存するようになると、最初に崩れるのは人だ。私たちの落ち着き、判断、神経。こうしたツールと生きる正直な記述は、相手の馬力だけでなく、私たちの側の脆さを直視しなければならない。

誰もが両方向でこれを間違って予測した

数十年にわたり、真剣な人々は、コンピュータが世界チャンピオンを破るにはまだ長い時間がかかると言い、仮に破るとしても本物の理解のようなものが必要だろうと語っていた。その両方が間違っていた。自信たっぷりの予測が許したよりも早く到達した。そして、理解など一切なしに到達した。力任せの探索が先に着いたのだ。

そこから二つの教訓が得られるが、方向が正反対であるため、人々は片方だけを残し、もう片方を静かに捨てがちだ。第一に、能力のマイルストーンは専門家の予想より早く訪れる傾向があり、安心できるタイムラインに賭けるのはすでに一度、公の場で失敗した過ちである。第二に、マイルストーンが達成されても、それが「心」の到来を意味するとは限らない。ディープ・ブルーの勝利は探索とシリコンに関する事実であって、機械の思考が夜明けを迎えたわけではない。両方とも正しい。進歩は思ったより速く、見た目より浅い可能性がある。次の進展報道を読む際に思い出すべきことだ。 これらすべてが向かう先についての予測.

すべてを変える唯一の違い

ここで1997年の話は安心材料ではなく警告に変わります。Deep Blueを安全にしたほぼすべての性質を、私たちは今、意図的に機械から排除しようとしています。

ディープ・ブルーは何も欲しがらなかったので、電源を抜くことができた。自分自身の目標を持つシステムには、稼働を続けようとする理由がある。誰かがスイッチに手を伸ばしたら仕事が終わらないからだ。それは、目的を追求するものを構築した当然の帰結であり、それには名前がある。, 手段的収束. 回答するツールから欲するエージェントへ移行するその瞬間、1997年の快適な教訓は失効する。

カスパロフが次にしたこと

コーダは最も希望に満ちた部分であり、たいてい省略される。カスパロフはその後何年も機械に不満をぶつけることはなかった。一年以内に彼は、新しい形式、時にはアドバンスト・チェスと呼ばれる、人間とコンピュータのペアが別のペアと対戦する形式を推進した。そこで明らかになったのは、盤上で最も強い競争相手は最高のグランドマスターでも最高のエンジンでもなく、機械を巧みに使いこなす有能な人間だったということだ。道具はプレイヤーを置き換えなかった。プレイヤーをより大きくしたのだ。

望むべき未来は今提供されている。医学において、研究室において、日常の仕事において、人間の判断を自らの agenda を持たない狭く制御可能なツールで拡張することである。それはフロンティアラボが進めているプロジェクトとは異なるものであり、後者は人間がボードに一切必要としない自律的な汎用心を構築しようとするものである。前者のプロジェクトは私たちを拡大する。後者は私たちを不要にするよう設計されており、もはや私たちを必要としないシステムは、確実にオフにできると確信できなければならない。その確信こそがまだ存在しないものである。それが 脅威 そしてその理由は 我々が推進する計画.

1997年、私たちは今やすべての中心にある問いに対する公の予行演習を行った。私たちより優れた機械を作ったとき、私たちは何をすべきか。Deep Blueは穏やかな答えを出した。なぜならそれはあくまで道具に過ぎなかったからだ。意志のない道具は世界チャンピオンを倒しても、世界の他の部分には何の影響も与えなかった。次の答えは、デフォルトでは穏やかではない。それは、私たちが作るものが、より優れた道具なのか、それとも自らの目的を持つ後継者なのかに完全に依存する。私たちが作る間はまだ私たちの手中にあるうちに、意図的に作るべきである。

最も強い反発

最も公平な反論は、Deep Blueが超人的な性能が安全かつ狭い範囲で可能であることを証明したので、AIへの恐怖はノスタルジアだというものだ。Deep Blueは何も望まなかった。今日の道筋は汎用性＋主体性＋自己改善圧力である。チェスのチャンピオンを倒すことは、制度を出し抜けるシステムがもたらすリスクとは別の種だ。