数え切れないほど私は破滅者と呼ばれてきた。また、公共の場でAIの安全性に取り組むほぼすべての人がそうです。ラベルは引数が到着する前に到着します。確率やタイムライン、あるいは「コントロール」が何を意味するのかについて話す前に、私はすでにビンに分類されています。怯えている人々、未来を扱うことができないために物事を遅くしたい人たちです。並べ替えられ、したがって却下されました。
「doomer」という言葉の面白いところは、それが役割を果たしているということだ。無礼さは衣装であって、原因ではない。
加速主義側の最も効果的な動きは、彼らが正しいかどうかとはほとんど関係がない。
言葉の由来
2022年頃から2023年にかけて、AI安全論争は研究者内の内輪の会話ではなくなり、ソーシャルメディアに飛び出した。そこで議論は陣営化し、陣営には名前がついた。加速主義陣営（AIは可能な限り速く作るべきだと考える人々）は接尾辞「e/acc」をバッジとしてユーザー名に付け、反対側にも名前が必要になった。「Doomer」がそれで、通常「decel」（decelerationの略）と対で使われた。
その10月、マーク・アンドリーセンが「テクノ・オプティミスト宣言」を発表したことでムードは硬化した。それは論証というより信条に近く、「敵」と呼ぶリストの中に「実存的リスク」や「予防原則」、つまり強力な技術を大規模に展開する前に理解しておきたいという当然の考えが含まれていた。懸念自体が「敵」に分類されると、それを持つ人々は日常的に使う短いラベルを必要とするだけになった。あとは「ドゥーマー」で済んだ。
出自の運動に対しては公平でありたい。根底に本物の論点があり、我々は 他の場所でそれを詳しく真剣に取り上げた. 加速主義者の中には、実質的な主張をする者もいます。進歩は偉大な人道的力であったこと、厳しい規制には独自の危険が伴うこと、技術は構築することで学ぶこと。それらは議論する価値があります。「ドゥーマー」は代わりに使われるもので、それらのいずれでもありません。
ラベルが実際に果たす役割
ドゥーマーは性格であって主張ではない。それは議論を性格タイプに変え、性格タイプは答えられる必要はなく、診断されるだけだ。
安全保障側の主張が実際に何を言っているかを見てみよう。おおよそこうだ。超知能システムによる破局の確率は十分に高い（確実ではないが、十分に高い）ので、システムを構築する前に、それらを制御する能力を構築すべきである。そのすべての部分に反論することはできる。確率は私たちが思うより低い、タイムラインはより長い、「制御」という枠組みが間違っている、ガバナンスはそれが対処するリスクよりも大きな害をもたらす——そう主張できる。それらはすべて本物の対話であり、その一部は負ける価値のある対話でもある。
「Doomer」という言葉はそれを飛ばす。この語はこう言っている。お前は明日を恐れるタイプの人間だ。お前の立場はムードであって命題ではない。そしてムードは反論を必要としない——これはレトリックにおける最も古い手口、つまり論点ではなく人物に対する論法を、新しい衣装で着せ替えたものだ。その巧妙さは、実際の意見の相違に一切触れなくて済む点にある。戦いの場を「これは本当か」から「どんな人間がそれを信じるのか」へ移し、加速主義者はすでに答えを決めている。
その言葉は議論を性格タイプに変え、性格タイプは答えられる必要がなく、診断されるだけでよい。
なぜそれが響くのか
そのラベルが機能するのは、人々が自分自身についてすでに信じたいと思っていることから作られているからだ。
まず明らかなことから。誰も悲観論者になりたくはありません。楽観は自信と意欲として読み取られ、慎重さは臆病や恐怖として読み取られます。選択を「作り手か終末論者か」と枠づければ、ほとんどの人はすでにどちらの椅子に座りたいか知っています。この枠組みは、事実が一つもテーブルに上がる前にすでに役割を果たしています。
それはアメリカが自らについて語る、より深く本質的に名誉ある物語にも依拠している。進歩は良いものだ。鉄道、印刷機、電灯を恐れた人々は間違っていたし、歴史は彼らを愚か者として記憶している。加速主義者はこの物語をそのまま取り出し、安全擁護者を「未来によって恥をかかされるであろう怖がり屋の最新版」として描く。この物語が強力なのは、しばしば真実だからである。問題は、それを今回も真実だと無批判に前提し、超知能が印刷機と同じ類のものだとみなすことにある。それが同じ物語かどうかが本質的な問いであり、そのレッテルは問いが問われることを防ぐために存在する。
その言葉が向けられる相手
それが投げつけられる人々を並べると、風刺画は手の中で崩れ落ちる。
ジェフリー・ヒントンは2023年にGoogleを去り、企業のお目付け役なしにリスクについて語れるようにしました。彼はこの分野の創設者の一人に最も近い存在です。存命する研究者の中で最も引用される一人であるヨシュア・ベンジオは、自身の研究から同じ懸念に至りました。2023年5月、数百人の科学者と経営者（技術を構築するために疾走している研究所の指導者を含む）が、AIによる絶滅リスクをパンデミックや核戦争と同じカテゴリに置く一文に名前を連ねました。彼らは技術を恐れていません。彼らがこれを構築したのです。彼らの立場を何と呼ぼうと、「未来を恐れている」というのはその記述ではなく、それを聞かないための方法です。
この言葉はまた、幅広いスペクトラムを一点に平坦化する。破局がほぼ確実だと考える人と、数パーセント程度と見積もって保険をかけたいと思う人の間には、預言者と保険数理士ほどの距離がある。どちらも「doomer」として一括りにされる。このラベルはその違いを見ることができない。なぜなら、そう設計されていないからだ。その役割は、技術的で多様で、しばしばかなり穏健な一連の見方を、一つの狂信的なカルトのように見せることにある。私たちは本当の 専門家の推定の範囲 まさにこの理由からだ。範囲こそが、そのラベルが消し去るために作られたものだ。
その兆候
私が繰り返し立ち戻るのはこれです。安全性の問いに対する答えに自信がある運動なら、その問いを投げかける人々にニックネームを付ける必要などないはずです。
壊滅的リスクが本当にゼロに近いのであれば、それは公の場で擁護できる主張です。推論を示し、システムを構築した研究者たちが自分たちが作ったシステムについて間違っている理由を説明し、アライメントは結局簡単だった、またはより高い知能は必然的により大きな配慮をもたらす、またはラボ間の競争が致命的なミスを犯す前に自然に修正される、といった主張をしてください。それらは難しい主張ですが、存在します。そして加速主義者たちが実際にそれらを提示したとき、私たちは 完全に手に入れようとした.
「ドゥーマー」という言葉は、本来あるべき議論の代わりに使われる。相手の主張を真正面から扱いたくないときに、レッテルに手を伸ばすのだ。相手に名前を付けるのは反論するより安上がりであり、距離を置けば、群衆にはどちらが勝ったか判別がつかなくなることが多い。
それにどう答えるか
その枠組みを拒否せよ。会話が「開発者対絶望論者」になった瞬間、本質はすでに部屋から出ている。話を具体的な水準に戻す質問を一つ投げかけろ。「壊滅的リスクにどの程度の確率を置いているのか、そしてなぜその数字なのか」と。ほとんど誰も、その言葉を武器として振り回すときには答えられない。なぜなら、その言葉はまさに答えを避けるためにあるからだ。その数字が実際にどのように作られるのかを知りたければ、私たちが作成した 滅亡確率 計算機 各部分を順に説明する。
次にその主張からレッテルを剥がす。「ドゥーマー」という言葉は、（進歩を嫌う陰鬱な悲観論者という）戯画を、通常ははるかに狭く地味な主張——この特定の技術が特定のリスクを伴い、特定の注意を要する——に貼り付ける。それらを剥がしてみせよう。技術を愛し、加速論者が描く豊かさを望み、未来が素晴らしいものになり得ると信じていながら、それでも超知能を起動する前に制御できるようにすべきだと考えることは、矛盾しない。それらは対立する立場ではない。 善き未来のための論 この部分を正しく理解することに直結するのであり、それを回避することではない。
この言葉を使う人の大半が悪意で議論しているとは思わない。枠組み自体が本当に魅力的で、特に良い物語が添えられていると、自信を正しさと見誤りやすい。しかし、運動が批判者に対して打てる最強の一手が、彼らに不名誉な名前を押し付けることだとしたら、それは彼らが立っている土台について何かを物語っている。私たちの 場合 は恐怖で動くのでも、進歩を憎むのでもない。取り返しのつかない過ちに対しては、まずブレーキを用意するという、堅実で地味な慎重さだけで動く。