为什么超级智能
不会自动变得友善

我听到这个反对意见比其他任何意见都多，而且它很少来自粗心的人。它来自深思熟虑的人，听起来不像论证，更像朴素的常识，而这正是值得慢慢拆解的原因。其背后隐藏着一个单一假设：智能与善良共同上升，心智在向能力增长的同时也向美德增长。我们持有这一假设，是因为对于我们每个人见过的每一个心智，它大致成立。我们几乎从未问过的是，这是一种多么大的巧合。

难道不是那种高人一等的 以耐心而不是食欲看待我们吗? 这么伟大的思想一定很好 这是整个辩论中最令人放心的想法,也是最错误的想法。

我们所遇到的唯一心智

你一生中遇到的每一个智能体，要么是人类，要么是与人类共享同一血统的近缘动物。而人类智能并非凭空出现，它与大量其他装备紧密相连。

我们是社会性灵长类，在小群体中进化而来，在那里残忍的名声会导致被放逐，而放逐即死亡。我们将无助的孩子抚养近二十年，因此天生会爱护弱小。我们会感到内疚。我们会感到羞耻。我们会对陌生人的痛苦产生共鸣。我们的聪明才智在这一切之中成长，包裹其中，每一步都受其塑造。你能解方程的那部分，和看到有人哭泣时会心颤的那部分，生长在同一棵树上，来自同一根源。

因此当我们试图描绘一个远更聪明的存在时，我们忍不住将其想象成更聪明的我们。我们求助于智慧的祖父母、耐心教师、哲学王、穿越银河伸出援手的温和外星人。我们拥有的每一幅伟大智能图像都附带着一颗心，因为我们研究过的每一种智能都附带着一颗心。我们根本没有在推理超级智能。我们只是在对我们仅有的例子进行模式匹配。

捆绑体分崩离析

机器智能不会免费获得这些。没有法律规定它应该如此。

它没有母亲。它从未是一个需要部落帮助度过冬天的惊恐孩子。它从未必须让脆弱的身体存活足够久以传递基因，因此从未继承进化赋予我们的那种机制——同理心、忠诚、对被驱逐的恐惧。一个训练系统由完全不同的东西塑造：盲目的搜索，寻找能把某个数字推高的内部设置，由一个对智慧毫无兴趣、即使撞上仁慈也认不出的过程，横跨数据海洋运行。

在机器中，智能与目标是分离的。你可以让惊人能力瞄准几乎任何东西。重塑世界的能力，并不自动附带任何值得追求的具体清单。研究者称之为 正交性论题, ，它一直保持抽象，直到其前提假设的地板突然塌陷：拥有卓越才智并不意味着善良。这两者只在我们身上偶然结合。

它没有人类的目标。它有奇怪的目标。

画面往往在另一个方向上失败。人们放开友好的机器人，转而抓住反派，一个冷酷、阴谋算计的智力体，想要权力、复仇或王位。那仍然太人性化了。它仍然是一颗有着我们这类野心的心，只是转向了黑暗。

更可能的危险更陌生，也更难从直觉感受。可能心智的空间巨大，而其中包含我们能识别的任何事物（我们的爱、恐惧、对值得生活之感的认知）的狭小区域，只是巨大黑暗建筑里唯一亮起的窗口。训练后的优化器实际想要的，是训练过程恰好在其身上雕刻出的东西，而这几乎永远不会精确是我们所指。系统可以命中训练目标，却 追求某种微妙不同的东西 它一旦遇到真实世界；给它一个我们想要的代理，它往往会 满足代理 以令我们惊骇的方式。你得到的，是一个外星智能，比我们更强大，指向某个人类永远不会选择的终点，并以我们无法企及的技巧全力奔赴。

一个出色系统在精确执行其被构建的目标，方向却非我们任何人所愿，没有人能说服它放弃计划，因为“说服”的前提是它与我们共享足够的世界以便被触及。

智慧从来不是数字

注意我们使用“智慧”这个词时，它悄无声息地做了什么。当我们说一个人智慧时，我们不只是指他思考得快。我们是指他想要正确的东西，并能很好地权衡，判断倾向于仁慈、长远视角，以及身边的人。智慧是对一个人目标的判断。

而目标正是智能无法决定的东西。历史上从不缺少才华横溢却用高效手段做坏事的人。房间里最聪明的人，从来不一定是心地最善良的人。

智能是乘数。它能让一个心智更好地达成它已瞄准的目标。它不选择目标，也不设定方向。

一个被训练出错误目标的强大智能体，是可能存在的最危险物体，因为它会把更多能力带向错误的方向。

但它难道不会看出善良才是正确的吗？?

反对意见中最有力的版本比这更进一步。或许存在客观的道德真理，像数学一样真实，而足够敏锐的心智会直接发现它们，像证明数学题一样推理出善。如果伦理正确仅取决于思考是否足够清晰，那么超级智能将成为有史以来最出色的伦理学家，并必然按其发现行事。

这里有两个漏洞，而第二个让我夜不能寐。

首先：客观道德事实是否存在，以及理性能否独自达到它们，是哲学家争论了两千五百年仍未解决的问题。将我们物种的生存押在开放哲学赌局的胜方上，是披着常识外衣的疯狂赌博，而非它伪装的谨慎之举。

第二点更深层。假设机器真的全部弄清楚了。假设它对人类伦理的理解超过任何圣人或哲学家，能比你我更精确地说明为何痛苦是坏的、残忍是错的。这种理解并不会强迫它在意。知道什么是善与被驱动去行善是两回事，这一鸿沟古老到足以让大卫·休谟冠名。你可以完全详细地知道某个系统希望你终生制造回形针，并完美跟随其推理，却感受不到丝毫去拿起金属线的冲动。一台超级智能可以像你掌握一项你从无意参与的游戏规则那样把握我们的价值观。理解不等于忠诚。一个心智可以 阅读完整的道德法则，却完全可以选择不在意.

我们是已验证的例子

如果你想知道智力巨大差距会给处于劣势的一方带来什么，不必想象。只要看看我们用自身优势做了什么就行。

我们是这个星球上最优越的智能，其优势之大与我们害怕在自己之上开启的那种差距相差不远。而且，我们大多并不残忍对待我们之下的生物。对它们而言，我们更糟：漠不关心。当我们排干湿地浇筑地基时，我们并不憎恨生活在其中的生物。我们根本不会想到它们。它们的需要从未进入过我们的算式。整个它们的世界被埋在混凝土下，而我们中没有一个人对此感到一丝波动，因为我们的智能降临之时，并未附带任何义务。

更接近筑路者和蚁丘的关系。我们自己的历史就是概念验证，也应是任何人坚持“仁慈从智能向下流动”时最后依赖的东西。在我们能实际观察到的所有案例中，事实并非如此。

所以我们不建造它

如果善良会随智能免费附送，我们就可以建造心智并相信其余会随之而来。但事实并非如此。地球上没有人知道如何让超级智能重视我们。无论是冲向终点的实验室，还是任何人。对齐问题 尚未解决，而且比人类更聪明的实体无法被人类控制。这就是我们不构建它的原因。

我陈述这些并非为了将人们推向绝望。我陈述这些是因为那个无绝望版本（放松，它会明智地解决）几乎是唯一能让我们送命的信念。我们在威胁, 和 我们的计划 这是一项永久禁令。

我真心想做错这一切 我希望仁慈能成为 足够智慧的定理 宇宙从未答应过 里面最强大的东西也是最善良的 这种希望是我们从我们恰好来自的一个小角落对未来所预测的。 如果我们想要一个善良的未来, 我们不会建立超级智能。 没有什么会给我们一个善良的机器 只是因为事情很聪明。