6月30日、ワシントンで開かれた技術サミットで、CIA長官ジョン・ラトクリフは自らの職にある者が公の場で口にするのをほとんどためらう一線を引いた。今日の最先端AIモデルについて、彼は「その能力をデジタル核兵器に喩えるのは誤りではない」と述べた。彼は安全運動家でも、売りたい論文を抱えた学者でもない。情報機関を率いる人物だ。彼は自らの席で許される最も重い言葉に手を伸ばした。
彼だけではない。3月、当時の国家情報長官タルシ・ガバードは、人間がこれらのシステムの制御を維持しなければならないと証言した。NSAの長官は上院議員に対し、AnthropicのMythosモデル 「数時間で機関のほぼすべての機密システムに侵入した」 認可されたテスト中に。最近、数週間のうちにファイブアイズのサイバーセキュリティ責任者たちが異例の共同声明を出し、「今すぐ行動しなければならない」と警告しました。機密情報を読んでいる人々が公の場でこう言い始めるとき、立ち止まって耳を傾ける価値があります。
比喩が当てはまるところ
核兵器は、世界が「技術が到達しうる危険の尺度」として用いる物差しだ。AIをそのデジタル版と呼ぶのは、これらのツールがかつて国家と弾頭を必要とした規模の危害——壊滅的なサイバー侵入や、病原体設計への実質的な支援——を今や引き起こし得ることを意味する。その点でRatcliffeは正しく、公の演説で現職の情報機関長官が述べたこと自体がニュースだ。
壊れるところ
この比較にはある種の安心感が紛れ込んでいる。核兵器には一つの慈悲深い性質があるからだ。それは決して何も決定しない。弾頭はサイロの中で座して待つ。目標を持たず、人間が二つの鍵を回すまで何もしない。指揮系統から軍備管理条約に至るまで、爆弾の周りに築いたすべての安全策が機能するのは、兵器が人間の手の中の道具であり続けるからだ。
今日のシステムはすでに目的を追求するエージェントとして振る舞っており、その先にある人工超知能は、それを構築した人間よりも有能なエージェントになるだろう。超知能は爆弾をどこに落とすかを決める司令官に近く、しかも人間が任命したわけではなく、人間が 指揮権を解除する.
核兵器は決して自ら標的を選ぶことはない。
フロンティアAIはその到達範囲においてデジタル核兵器に似ている。それが導いているシステムは、自らを狙う兵器になる。その危険を既存の脅威と比較する。 詳しくは別途, 、そしてまさにこの理由で超知能がトップに立つ。
「核時代の第二の課題」
「デジタル核兵器」という表現の強みは、それが国家安全保障の世界の内部から出てきた点にある。通常の批判者からではない。危険は、私たちがそれを聞いて爆弾を想像し、爆弾が許すすべてのことに誤った安心感を抱くことだ。爆弾は守り、数え、最悪の場合サイロに未使用のまま置いておける。超知能にはそのような選択肢は一切ない。
核の時代には第二の教訓があり、それが今重要だ。私たちは兵器を作った後、それが二度と使われないよう条約を築くのに何十年も費やした。その忍耐強い予防・検証・軍備管理の枠組みこそが冷戦の本当の遺産である。私たちの版はまだほとんど始まっていない。そして今回は、事実の後に築く余裕がない。自ら狙える兵器は、存在してから抑止するのではなく、存在する前に防がなければならない。それは 私たちの計画.