AI 说服风险：:
威胁
认知自主

AI安全讨论常聚焦于遥远的情景——目标错位的超级智能系统、在尚未达到的能力阈值处发生背叛。AI说服风险则不同。其基本威胁形式已存在于当今可用系统中，正在实时影响选举与公共话语。更危险的长期版本是正在快速发展的技术的延伸，而非纯粹假设的未来。

长期版本（能以超人精度建模并利用个体心理的AI）正是技术正在前进的方向。

担忧不只是AI让宣传更容易编写，此前技术早已做到这一点。担忧在于AI实现了质的飞跃：高度个性化、规模化、基于个体心理画像定制、并根据回应实时更新的说服性信息。个性化、规模与极低边际成本的结合，产生了此前任何工具都无法比拟的影响力。

是什么让AI说服与众不同

传统影响力行动（广播广告、政治宣传、国家宣传）用同一条信息触达许多人。信息可能经过精心制作和广泛测试，但必然是不同受众之间的妥协。一位熟练的人类说服者可以针对具体对话对象调整方法，但只能与有限的人交谈。这两种能力（广播规模与个性化）在历史上一直存在张力。

AI消解了这一张力。一个能访问个人数据（浏览历史、社交媒体、此前回应）并能生成多样化说服性内容的系统，可以同时触达数百万人，并为每一次互动量身定制内容。生成另一条个性化说服信息的边际成本接近于零。该系统还能实时迭代，基于哪些方法有效、哪些无效进行调整，其规模是任何人类影响力行动都无法比拟的。

不对称问题

AI 说服力的权力高度集中。要大规模部署优化过说服力的 AI，需要大量资源、数据、算力、工程能力和分发渠道。这些要求有利于资源雄厚的行为体：大公司、民族国家、富人。被针对的人没有对等的反制能力。他们最终可能获得能帮助自己评估所见内容的 AI 工具，但攻防不对称在短期内有利于攻击者。

这是一个结构性问题，而非针对任何特定虚假信息的问题。即使AI驱动的影响行动中每个单独主张在技术上都是真实的，系统性、大规模针对心理脆弱性的做法也会扭曲民主审议所依赖的认知环境。影响行动的目标是塑造人们对议题、候选人和机构的感受，以服务于操作者的利益，而不一定是欺骗。

近期证据

自2023年以来，多国国家选举中已发现AI生成的影响力内容。独立研究者和平台安全团队已识别并报告了利用AI生成合成媒体、伪造真实公众人物言论，以及以原本需要大量人工操作员的规模进行高量协调发帖的影响行动。随着AI生成内容质量提升，这些行动越来越难被发现，而检测工具已落后于生成工具。

风险已存在于当前技术环境中，影响真实的政治进程，且轨迹是朝向更强大、更难检测的说服工具发展，而非假设性问题。问题在于哪些治理回应是相称且有效的，而非是否应将其视为真实风险。

长期升级

当前的AI说服工具有效，但尚未在根本层面针对说服优化。未来系统若具备更精细的个体心理模型、更详细的个人数据，以及更强的长期关系模拟能力，可能会显著更有效。一个能构建个体信念、关切和心理脆弱性持久模型，并与之互动数周或数月的系统，可能产生远超当前工具的效果。

这就是AI说服风险在超级智能谱系末端的表现形式：不是简单的大规模虚假信息，而是由对人类心理模型远超当前任何工具的系统进行的、针对个人的长期认知操纵。与 单例情景 和 价值锁定 直截了当：拥有高效AI说服工具的行动者可利用它们塑造公众对ASI治理的看法，从而让民主机构更难施加限制其权力的约束。