「私は楽観主義者だ。人類が絶滅することはないよ。まだ一度も起きたことがないからね」安全パネルの後、グリーンルームやコメント欄で、話題を終わらせようとする笑みとともに耳にする。その笑みは実際の社会的役割を果たしている。慎重さを性格の欠陥として描き、勢いを情緒の健全さとして描くのだ。また、リスク主張をムードの中に忍び込ませてもいる。
楽観は許される。許されないのは、真剣に取り組むつもりなら気質を根拠扱いすることだ。
「これまで起こったことがない」が実際に何を意味するのか
人類絶滅は定義上、その後に人間の証人が存在しない。生きているすべての人は、種が存続したタイムラインからサンプリングしている。これは哲学ではなく淘汰と呼ぶべきだ。宝くじの当選者は当選確率について語るのに不適切な情報源であり、「私はこれまで交通事故で死んだことがない」というのはシートベルトに反対する貧弱な論拠である。
化石記録は情に厚くない。かつて存在した種の大部分はすでに絶滅している。いくつかの大量絶滅は、次の生命のために盤面を一掃した。 Homo sapiens は地質学的時間では若く、すでにサイコロの出目が悪ければ終わりかねなかったボトルネック、疫病、戦争をくぐり抜けてきた。「これまで起きたことがない」は、私たちがまだ語れる薄い歴史の断片についての記述にすぎない。
初めてのことが破局を生む
1945年以前に、単一の爆弾で都市が破壊されたことはありませんでした。1918年以前に、パンデミックが世界の鉄道・船舶網をその速度で駆け巡ったことはありませんでした。1980年代のオゾン対策以前に、人間が紫外線から地表を守る層を薄くする実験を行ったことはありませんでした。いずれも、事前に起きたことのない出来事でした。行動を起こした人々は、完成した事例がケーススタディとして利用可能になるのを待ちませんでした。
人工超知能はまさにその範疇にある。過去に誤った超知能が複数存在した事例などない。あるのはメカニズムだ。目標を追求し、自らの能力を向上させ、やがてそれを修正するための制度を凌駕するシステムというメカニズム。ベースレートが沈黙しているときに用いるのがメカニズムである。AIによる人類絶滅の事前確率を求めよというのは、診断より先に死体を要求するに等しい。
すべての初めての大災害は、事前に見れば、これまで起こったことのない何かのように見える。
適切に向けられた楽観主義
There is a version of optimism I respect. It says: people have coordinated under pressure before. Treaties have held. Industries have been forced to change course when the science was clear and the politics got organized. The 抑制の記録 は実在する。核軍備管理からオゾン層を破壊していた化学物質に至るまでだ。その楽観は主体性を指し示す。未来は依然として選択であると仮定している。
グリーンルーム版はその逆を行う。生存を宇宙のデフォルト設定とし、懸念をマナー違反とみなす。「良い結果を好む」と「良い結果がゆえに起こりやすい」を混同している。
ジェフリー・ヒントン、ヨシュア・ベンジオ、そして数百人の研究者が、AIによる絶滅レベルのリスクをパンデミックや核戦争と同じリストに載せたとき、彼らはメカニズムが健全に見え、損失が壊滅的である場合に専門家が当然行う退屈な作業をしていたのであり、テック基調講演の悪役オーディションを受けていたわけではない。彼らの数字に異を唱えることはできる。そのカテゴリ自体を「自分の性格タイプ」を理由に退けることはできない。
肩をすくめることの代償
この肩をすくめる仕草は、争いなく開発を続けたい人々の役に立っている。絶滅の話が「雰囲気」の問題にすり替えられれば、礼儀正しい対応は話題を生産性やアプリに戻すことだけになる。一方でラボは規模を拡大し、評価は遅れ、 制御問題 は未解決のままである。ムードがガバナンスと誤解されている。
私は人類のプロジェクトが続くことを望む。それを望むのは簡単な半分だ。難しい半分は、誰にも確実に止められないシステムに修正不能な力を集中させる開発経路を拒否し、 拘束的な停止 必要とする。楽観主義が「ダウンサイドについて話すのをやめろ」という意味だけなら、それは子守唄になってしまう。
絶滅はこれまで人類に起こったことがない。