AI安全保障の議論は、遠い未来の超知能システムが誤った目標を持ち、まだ到達していない能力閾値で裏切るといったシナリオに集中しがちだ。AI説得リスクは異なる。脅威の基本形は今日利用可能なシステムにすでに存在し、今この瞬間、選挙や世論に影響を与えている。より危険な長期版は、急速に進歩する技術の延長線上にあり、純粋に仮説的な未来ではない。

長期的なバージョン（超人的な精度で個人の心理をモデル化し、利用する AI）は、技術が進む方向そのものです。

懸念は、AIがプロパガンダを書くのを容易にするという単純なものではない。以前の技術もすでにそれを行っていた。懸念は、AIが質的に異なるものを可能にする点にある。個人の心理プロファイルに合わせて高度にパーソナライズされた説得メッセージを大規模に生成し、反応に応じてリアルタイムで更新する能力である。パーソナライゼーション、スケール、低い限界費用の組み合わせは、以前のどのツールも匹敵しない影響力の能力を生み出す。

「AIの説得が異なる理由」

伝統的な影響工作（放送広告、政治的メッセージ、国家プロパガンダ）は、同じメッセージを多くの人に届けます。そのメッセージは慎重に作られ、広範にテストされるかもしれませんが、異なる聴衆の間の妥協でなければなりません。熟練した人間の説得者は、話しかける相手に合わせてアプローチを調整できますが、話せる人数は限られています。この2つの能力（放送規模と個別のパーソナライズ）は、歴史的に緊張関係にありました。

AIはこの緊張を解消する。個人のデータ（閲覧履歴、ソーシャルメディア、過去の応答）にアクセスでき、多様な説得コンテンツを生成できるシステムは、数百万の人々に同時に到達しつつ、各インタラクションを個別に最適化できる。もう一つのパーソナライズされた説得メッセージを生成する限界費用はほぼゼロに近づく。システムはどのアプローチが機能し、どのアプローチが機能しないかをリアルタイムで反復し、人間の影響工作が到底及ばない規模で実行できる。

非対称性の問題

AI説得力の力は極めて集中しています。説得に最適化されたAIを大規模に展開するには、相当な資源、データ、計算資源、エンジニアリング能力、配信チャネルへのアクセスが必要です。これらの要件は、潤沢な資源を持つ主体——大企業、国家、富裕層——に有利に働きます。標的とされる人々には同等の対抗能力がありません。いずれは遭遇するコンテンツを評価するのに役立つAIツールにアクセスできるようになるかもしれませんが、攻撃側と防御側の非対称性は当面、攻撃者に有利です。

民主的含意

かつてはコピーライターの倉庫が必要だったキャンペーンが、今では昼までにメッセージのバリエーションを千通りも下書きできる。それぞれが有権者の一部に合わせて調整されている。これはすでに実在する製品カテゴリで、遠い未来の想像ではない。この解像度での説得は、神モデルができる前に現れるAIリスクだ。

これは特定の disinformation の問題ではなく、構造的な問題だ。AIを使った影響工作の個々の主張がすべて技術的に正しかったとしても、心理的脆弱性を大規模に狙い撃ちすることは、民主的熟議が依拠する認識論的環境を歪める。影響工作の目的は、運営者の利益になるように、人々の問題・候補者・制度に対する感じ方を変えることであり、必ずしも事実を偽ることではない。

近々の証拠

AI生成の影響力コンテンツは、2023年以降、複数の国の国政選挙で確認されている。AIを使って合成メディアを生成し、実在の公人の発言を捏造し、人間のオペレーターが大規模に必要となるような高ボリュームの協調投稿を行う影響工作が、独立した研究者やプラットフォームのセキュリティチームによって特定・報告されている。AI生成コンテンツの品質が向上するにつれ、こうした工作は検知しにくくなり、検知ツールは生成ツールに後れを取っている。

リスクは現在の技術環境に存在し、現実の政治プロセスに影響を及ぼしている。そして軌道は、仮定の話ではなく、より有能で検知しにくい説得ツールへと向かっている。問うべきは、これを現実のリスクとして扱うかどうかではなく、どのような統治対応が比例的で効果的かだ。

長期的なエスカレーション

現在のAI説得ツールは効果的ですが、根本的なレベルで説得に最適化されているわけではありません。個人の心理のより洗練されたモデル、個人に関するより詳細なデータ、長期的な関係シミュレーションのより大きな能力を持つ将来のシステムは、 substantially より効果的になり得ます。個人の信念、懸念、心理的脆弱性の永続的なモデルを構築し、それを数週間または数ヶ月かけて操作できるシステムは、現在のツールが達成するものをはるかに超える効果を生み出せます。

これがスペクトルの超知能端におけるAI説得リスクの形態です。単純な大量の偽情報ではなく、現在のどのツールよりもはるかに優れた人間心理のモデルを持つシステムによる、個人を対象とした長期的な認識操作です。関連するのは シングルトンシナリオ と 価値固定 は直接的だ。極めて効果的なAI説得ツールを持つ行為主体は、それを使って人工超知能統治そのものに関する世論を形作り、民主的制度がその行為主体の力を制限する制約を課すのを難しくし得る。