什么是价值锁定？?
为什么即使“良好”的永久价值观也危险

大多数AI安全讨论聚焦于AI系统追求明显有害目标的情形，这些目标会直接导致人类伤害。价值观锁定是一种更微妙、在某些方面也更令人不安的情形：它永久编码在编码时刻看似良好的目标，却阻止了原本可能改善这些目标的道德进步。

价值锁定使这些修正不可能。

概念 straightforward。一个超级智能AI系统或AI赋能实体，获得对世界资源与系统的充分控制，从而永久执行其被赋予或采纳的任何价值。从那时起，这些价值塑造所有结果，且无修订可能。锁定可能有意发生（行动者故意编码其价值），也可能意外发生（系统彻底最大化其目标，以致预先排除任何替代可能）。无论哪种方式，未来都将固定。

反对任何锁定的历史论点

反对价值锁定的最有力论据不是哲学的，而是历史的。回顾两个世纪前，审视当时人们视为显而易见的道德真理。奴隶制在世界大部分地区（包括拥有复杂哲学传统和明确人类尊严承诺的国家）在法律和社会上都被接受。女性作为丈夫或父亲财产的法律地位是普遍的。如今被视为酷刑的做法曾是刑事司法系统的标准元素。儿童对其父母或雇主没有权利。

那个时代的人并非特别恶毒。许多人是深思熟虑、道德严肃的人，他们仔细思考伦理问题。他们得出的立场按任何当代标准都是灾难性的错误。而他们确信自己的价值观是正确的，正是这种道德确信让许多人觉得锁定似乎合理。

这种模式仍在延续。一个世纪前，几乎所有西方社会都持有明确的种族等级观念，如今这些观念已被公认为事实错误且道德上 grotesque。五十年前，同性恋在主要医学参考书中被归类为精神疾病。前几代人的道德错误在事后看来显而易见。如果我们这个时代终于达到了道德完美，且没有类似的错误等待未来纠正，那才令人惊讶。

为什么即使是仁慈的锁定也危险

对价值锁定担忧的常见回应是：“如果被锁定的价值观确实是好的呢？”这种回应忽略了问题。对“价值观确实是好的”的判断本身，必须使用正在讨论的那些价值观来做出。不存在一个外部立场，能让我们评估当前价值观是否好到足以证明永久编码的正当性。历史上，正是这种自信的道德确定性，让后续的道德进步认为最需要修正。

尼克·博斯特罗姆的天文浪费论证以不同方式说明了这一点。人类在宇宙时间尺度上可及的未来，涉及几乎不可理解数量的可能生命与体验。即使是与最优值的小系统性偏差，应用于这一尺度，也代表着远超人类一生所能发生的巨大损失。锁定在按某种理想标准99%正确的值上，相对于未来可能包含的规模而言，仍然是灾难性结果。

与民主监督的关系

价值锁定是核心原因之一，为什么 民主与国际对超级智能AI的监督 很重要。任何单一实体（公司、政府，甚至善意的基金会）将价值观永久编码到超级智能系统中，都会造成锁定，无论这些价值观当时看起来多么美好。

替代方案不是去识别正确价值观并加以编码。没有人能可靠地做到这一点，而历史记录表明，对已找到正确价值观抱有高度信心本身就是一种警告信号。替代方案是维持道德进步得以继续的条件：多元主义、视角多样性、和平修订规范的机制，以及没有任何单一实体有权将其价值观永久强加于他人。

这是支持超级智能AI民主治理的结构性论点，它超越了工具性论点（后者能产生更好结果）。民主监督能保留持续道德进步的条件，无论当下持有何种具体价值观。The 基金会的治理提案 都建立在这一洞见之上：目标不是让正确的价值观掌权，而是确保没有任何单一价值观（无论意图多好）获得永久且不可逆的控制。