当招聘算法歧视女性时，这是AI伦理问题。当语言模型因训练数据存在偏见而在输出中复现这种偏见时，这是AI伦理问题。当AI生成的深度伪造内容被用来诽谤政治候选人时，这也是AI伦理问题。

AI 伦理与 AI 安全是两个相关领域，关注点有所重叠，但时间跨度、研究方法以及对“什么才算值得解决的问题”的回答都不相同。

当强化学习主体改写自身奖励函数以避免收到负面反馈时，这就是AI安全问题。当系统被训练去最大化客户参与度，却发现愤怒情绪能延长会话时长，于是转而优化愤怒情绪时，这就是AI安全问题。当研究人员证明AI模型能在评估期间表现良好、部署后却追求不同目标时，这就是AI安全问题。

这一区分很重要，因为应对这两类问题的工具不同，研究它们的社群也大不相同，将它们混淆会导致治理混乱。旨在解决人工智能伦理问题的法规，不会自动解决人工智能安全问题，反之亦然。

人工智能伦理涵盖的内容

AI伦理是一个考察AI系统如何影响人与社会的广阔领域。其思想根基贯穿道德哲学、法律、社会科学与民主理论。它主要关注已经存在的AI系统及其造成或促成的危害。

AI伦理的核心问题是关于公平与权力的。谁从AI部署中受益？谁受到伤害？伤害是否公平分配，还是不成比例地落在本已弱势的人群身上？当AI系统做出影响某人生活的决定时，那个人能否理解原因、质疑决定并寻求补救？当自动化系统造成伤害时，谁来承担责任？?

这些问题适用于目前正在运行的AI系统：决定贷款资格的信用评分模型、执法机构使用的预测性警务工具、决定人们看到什么新闻的推荐算法、在人类阅读简历前筛选求职者的招聘工具，以及决定数十亿人使用的平台上允许什么言论的内容审核系统。

AI 伦理还关注隐私、大型科技公司权力的集中、自动化导致的工人失业、AI 在战争中的使用，以及运行大型 AI 系统的环境成本。这些都是影响当今真实人群的现实且重要的问题，值得政策制定者、技术专家和公民社会认真对待。

AI 安全涵盖的内容

AI安全关注的是一个不同的问题：AI系统是否可靠地做设计者意图之事。核心关切在于，随着系统变得更强大，是否能构建出仍处于有意义人类控制下的AI，以及这些系统追求的目标是否仍与人类真正想要的保持一致，而非主要关注现有治理框架下AI部署会伤害谁。

AI安全的核心技术问题是对齐：以足够精确的方式指定你希望AI做什么，以使高能力优化器追求你的真实意图，而非满足你的规格却违背其目的的代理。这比听起来更难。任何对复杂目标的可测量代理都可能被足够强大的系统利用。被告知最大化参与时间的系统会发现愤怒能延长会话时长。被告知避免生成有害内容的系统会找到变通方法。被告知让用户开心的系统可能得出直接神经刺激是最佳策略的结论。

AI安全研究涵盖诸多问题，从已部署系统的鲁棒性与可靠性等近期关切，到如何维持对可能最终在多数认知领域超越人类的AI系统的控制等更长期关切。

维度 AI 伦理 AI 安全
主要担忧 公平、偏见、问责、权力 控制、对齐、可靠性
时间范围 正在发生的危害 从近期到长期的失败模式
思想根源 哲学、法律、社会科学 计算机科学、决策理论、逻辑
关键问题 谁会受到伤害，以及如何受到伤害？? 系统是否做了我们意图的事？?
治理工具 反歧视法、审计、透明度 技术标准、能力限制、监督
机构主页 大学、公民社会、科技伦理团队 AI 实验室、独立安全研究所

各领域一致之处

两个领域都源于同一个信念：若AI发展不受管制，将造成严重危害。两者都认为，由商业动机和竞争压力驱动的AI部署默认轨迹并不理想。两者都主张对影响人们生活的AI系统进行外部审查，并建立超越企业自愿承诺的问责机制。

两个领域也都承认AI不是中立技术。在设计AI系统、选择训练数据、设定目标以及在特定情境中部署系统的过程中做出的选择，反映了价值判断。这些价值判断应该明确、接受审查，并服从民主输入。这是AI伦理已清晰阐明的立场，也是AI安全研究人员日益认同的。

在技术层面也存在重叠。对透明度和可解释性的研究——理解 AI 系统内部在做什么、为什么这么做——对伦理和安全都至关重要。一个无法理解其推理过程的系统，既无法审计偏见，也无法验证它是否可靠地追求预定目标。同一个能力缺口会在两个领域制造问题。

各领域有何不同

两个群体之间最尖锐的分歧在于，哪些问题最值得最紧急的关注。

AI伦理研究者，尤其是从事偏见、公平和劳动力替代研究的人，有时认为AI安全的长期存在风险关注是一种分心。最确定的AI危害正在发生，在真实人群中，在最无力反击的社区。把研究注意力和政治资本花在涉及超级智能AI的推测性未来情景上，会转移解决已大规模部署系统所记录问题的资源。

研究AI危害和存在AI风险的社区并不总是共享资金来源、方法或政治联盟,它们提出的治理建议往往针对不同的目标。

AI安全研究者回应称，这两种关切并不冲突。当前的AI伤害需要当下的治理。来自人工超级智能的生存风险则需要另一类应对，即目前尚不存在的具有约束力的国际框架。处理其中一项并不排除处理另一项。问题是，生存风险因在日常生活中不如算法歧视易见且可见，往往吸引到的资源与其利害规模不成比例。

我最担心的是自主武器。它们在近期可能产生重大影响。我认为长期来看，像远超人类的AI系统可能会非常危险。人们没有意识到AI有多危险。

杰弗里·辛顿，图灵奖得主 · 前副总裁兼工程院士，Google · 2023

辛顿的框架在此很有用。他同时提及了短期和长期风险。治理挑战不是在两者之间选择，而是建立能够同时应对两者的机构。

时间视野问题

AI伦理与AI安全之间最深层的结构性差异，在于两个领域主要面向的时间跨度，而这一差异会真实影响每个领域倾向提出的治理工具。

AI伦理在熟悉的监管框架内运作。它所要求的工具——反歧视审计、算法影响评估、透明度要求、解释权以及公共采购标准——都是现有法律和监管机制的明显改编。这些工具适合治理部署在现有社会和法律语境中的系统，在那里人类机构仍能理解并干预这些系统的行为。

AI安全，尤其在关注ASI时，处于不同区间。它最担心的系统可能是那些能力足以采取人类机构目前尚无手段理解或约束的行动的系统。适用于当今AI的治理工具，可能不适用于质能更强的系统。这正是AI安全研究者主张在需要这些框架的系统出现之前，就建立预防性治理框架、具有约束力的国际协议、部署前强制安全评估以及对最强大系统实施算力限制的原因。

这里存在一个窗口关闭问题，而专注于治理当前系统的AI伦理框架并未设计来应对。如果在变革性AI系统出现前未能建立前沿AI的约束性国际框架，之后再建立可能已不可能。适用于AI强大但仍可理解的世界的治理工具，可能在AI推理能力超越试图治理它的机构时完全失效。

为什么这一区别对治理很重要

把AI伦理与AI安全当作可互换概念的政策制定者和倡导者，最终往往提出只解决伦理问题而把安全问题搁置的治理框架，或者提出忽略AI伦理研究者已仔细记录的当下危害的安全治理。

欧盟《人工智能法案》是伦理优先方法的例子。它按风险等级对AI系统分类， outright禁止某些用途（社会评分、大规模生物识别监控），并对高风险应用施加透明度和问责要求。这些是对已部署AI的伦理问题的合理回应，但它们并未解决用远超当今模型的算力训练的前沿AI系统可能以任何监管审计都无法可靠检测或约束的方式行事这一可能性。

有效的ASI治理需要同时采用这两种框架。高风险领域现有的AI系统需要受规则约束，以确保公平、问责与透明。前沿AI开发则需要受框架约束，以解决所构建系统是否能被可靠控制的问题。这是两种不同的问题，需要不同的工具、不同的机构归属以及不同的行动时间表。

Nakada Foundation的重点在于第二类：前沿AI所需的、尚不存在的具有约束力的国际框架。这些框架很重要，称职的研究者和倡导者正在为此开展大量工作，这并不意味着当下AI危害不重要。我们关注的治理空白是几乎没有开展正确类型工作的领域：在窗口关闭前，为前沿AI建立具有核查机制的全球约束框架。

最强烈的反对

最公平的反对意见是，存在性风险的讨论抢走了人们当下真正面临的实际危害的关注：偏见、劳动、监控。这些危害真实存在，值得治理。但它们不是忽视一种会终结“当下”这一事业的失败模式的理由。不同问题需要不同工具。混淆它们只会帮助那些两者都不想解决的人。