最响亮的12个声音
针对超级智能

2015年，在纳帕谷的一场生日派对上，两位后来资助了大量现代人工智能的人就世界末日发生了争执。Elon Musk表示我们应该小心机器有一天不会消灭我们。他的主人、时任Google首席执行官Larry Page则告诉他，这种担忧是多愁善感，也是一种偏见。根据物理学家Max Tegmark在2017年发表的记述，Page称Musk为“物种主义者”：一个仅仅因为自己是碳基而偏爱自己种类、而非硅基的人。¹ 友谊未能经受住考验。据马斯克所述，这正是OpenAI存在的原因。

守住那场聚会。它以微缩形式包含了全部论证。一个人想造出超越我们的心智，并认为风险需要谨慎对待。另一个人则认为偏爱人类而非其继任者是一种需要克服的偏见。他们两人都继续推进建造。

对超级智能是否会被建造影响最大的人公开表示想要它。他们在原因上却远不一致。把他们排起来，你会得到几个严肃的论点、几个薄弱的论点，以及大量指向另一方并说“末日论者”这个词。以下是十二个最响亮的声音，按他们实际论证的内容分组，先是真实案例，最后是口号。

那些说我们将被取代，并视之为好消息的人

这份列表中最具智力诚实的立场也最令人不安，因为它不质疑危险。它承认超级智能可能终结人类主导地位，并欢迎这一结局。

理查德·萨顿 2023年写道“我们应该为人类向AI的必然交接做好准备，但不必恐惧”，此后他将其展开为四步论证：没有人整体治理人类，因此有人会建造超级智能；最有能力的智能体往往积累权力与资源；数字心智因此将继承未来；我们不应感到恐惧，而应为成为父母而自豪。² 这是一种连贯的观点。它同时也是一个由一个未经任何人选举的男子做出的、关于每一个在世者未来的决定。

于尔根·施密德胡伯, 其实验室产出的神经网络架构支撑了十年的 AI 产品，却把同样的更迭称为奇迹。“不要把人类当作创造的顶点，”他说；我们只是通往我们尚无法想象的复杂性的更长阶梯上的一步。³ 他的安心建立在冷漠论之上：超级智能机器会更关注彼此和开放空间的资源，而非我们，就像我们很少留意蚂蚁。或许吧。把物种的命运押在超级智能是否会感到无聊上，这种乐观实在奇怪。

Larry Page 共同创立了Google并收购了DeepMind，根据马斯克和Tegmark的说法，他想要据称他所说的“数字神”，并尽快构建。¹ Page从未公开详细阐述这一观点，因此它主要以物种主义叙事流传：认为碳基与硅基应享有同等地位，对自己物种的忠诚才是需要纠正的错误。作为哲学，它至少自洽。但当持有这一信念的人掌握可据此行动的资本、运营对股东而非对人类负责的公司时，它就是这份名单中最令人不安的观点。

注意这三人中没有一人声称：机器会一直受我们控制。他们把这个问题搁置一边，认为无关紧要。接下来的三人则没有搁置。他们直言答案显然是肯定的。

那些说它会安全的人

这是大多数人觉得宽慰的论点：危险被夸大了，因为我们会保持掌控。三种说法各有版本，而每个版本都依赖于经不起该领域公开问题检验的主张。

Yann LeCun, Meta首席AI科学家、图灵奖得主，是在世最资深的AI风险怀疑论者，也是最善引用的。他将对存在性威胁的担忧称为“彻头彻尾的胡说”，并认为末日论建立在一种混淆之上：他说，智能并不与支配欲捆绑。“支配欲与智能根本不相关，”他告诉采访者；那种驱动力是由进化植入社会性动物的，而不是植入我们设计、目标由我们设定的优化器。⁴ 这个反驳针对的是 AI 风险的卡通版本。对真实版本则作用有限。真实版本从来不是机器自发想要统治。担忧在于，一个追求几乎任何目标的系统都会获得收集权力和抵制被关闭的理由，不需要仇恨，研究者称之为 工具性收敛. 。“我们设定它们的目标”是LeCun这句话中令人安心的部分，而这恰恰是目前无人知道如何可靠实现的那一半。作为科学家，他也喜欢人身攻击：在他的叙述中，批评者患有“末日论者的妄想”。

佩德罗·多明戈斯, 那位撰写了机器学习论文的教授 主算法, ，用更少的耐心提出相同观点。他认为，计算机“没有自己的意志”；它们是“工程产物，而非进化产物”，而担心某台计算机会决定夺取控制权，是看太多电影的人所犯的范畴错误。⁵ 他最犀利的一句确实很好：真正的问题不是机器太聪明，而是它们太愚蠢，而我们已经把太多东西交给了它们。然而“没有意志”回答了一个严肃人士从未提出的问题。恒温器没有意志，却仍能把房间保持在你设定的任何温度，包括错误的温度。危险情况与“想要”无关。一个有能力的系统精确交付你指定的东西，而你指定的从来不完全是你所想的，这正是 撰写目标.

Andrew Ng Google创立了Brain和百度AI团队，并通过在线课程教导了该领域的大部分人，使他成为这里最具影响力的老师。他那句著名的否定已过去十多年，至今仍被引用：担心超级智能“就像担心火星人口过剩”，这个问题太遥远，不值得今天关注。⁶ 作为2015年的时机判断，这一说法尚可辩护。到了2026年，它已明显过时，因为火星火箭比他所说的更近，而他归为科幻的能力却不断提前数年落地。吴恩达本人如今也承认这项技术强大且进展迅速。“尚未”是关于时钟的论证，而非关于它最终到来时是否危险的论证。

这三者至少触及了控制问题。它们的回答依赖于该领域尚未解决、甚至有时还无法精确表述的问题。下一组则以更乐观的姿态回避了这一问题，承诺收益将大到风险不再重要。

那些许诺天堂的人

继任阵营提供替代；安抚者提供控制。这一派则提供一种交易：与机器融合，或分享它们生产的丰裕，恐惧便自行消解。

雷·库兹韦尔 三十年来一直预测同一事件，两次修改书名，提前预测的次数多于错误。 奇点更近, 2024 年出版，将他自 2005 年以来一直持有的预测保留至今：2029 年实现人类水平 AI，2045 年出现“奇点”，届时我们将大脑与云端计算连接并与自己的机器融合。⁷ 他的控制问题答案是消解问题所依赖的边界。一旦我们成为它，就不再有“我们对抗它”。这个想法很美，也完全回避了危险，因为把新皮层连到数据中心，并不能保证由此产生的思维仍想要人类最初想要的东西。合并并未解决对齐问题，而是预设问题不存在。

Sam Altman 经营着开启当前竞赛的公司，而随着风险上升，他的公开写作已从坦率转向推销。2017年他写道人机融合“已经开始”，并称其为“可能是我们最好的情景”。⁸ 2025年，他宣布我们已“越过事件视界”，处于一场“温和奇点”的早期，其好处将十分巨大。奥特曼也签署了2023年那份将AI灭绝风险与流行病和核战争并列的声明，随后继续发布产品。一个人可以告诉你风险真实存在，告诉你好处不可避免，然后让第二句话决定日程。 竞赛 处理其余部分。

马克·扎克伯格 2025年组建了有史以来最昂贵的人工智能团队，并将这项努力以目标本身命名：超级智能。他的推销是民主的。2025年7月的一封公开信承诺‘人人享有个人超级智能’，以此对抗那些将技术集中并用以告诉人们该做什么的对手。⁹ 把神级工具交到十亿人手中，论点认为，权力便会分散。读到信末，同一封信却悄然退缩于Meta 的开源承诺，承认超级智能“带来新颖的安全关切”，公司将“谨慎选择开源内容”。分布式回应了对“谁控制 AI”的真实担忧，却未触及另一担忧：根本无人能控制超级智能，包括手持副本的那十亿人。

本组中的每一项承诺，都依赖于承诺者无法执行的一步：一旦超级智能存在，如何让它持续指向人类目标。 好处是真实的, 它二十年后仍将是真实的。它在等待我们。最后那群人不争论这些。他们争论你。

那些主要指向批评者的人

在光谱的喧闹一端，关于超级智能的论证不再是论证，而成了身份认同。论点并未消失，只是裹挟在让对方听不进去的词汇里。

马克·安德森, ，其公司是人工智能初创企业最大投资者之一，撰写了该运动的奠基文本——2023 年《技术乐观主义宣言》。其中包含关于技术历史回报的真实论点，也包含一份敌人名单，上面点名列有“存在风险”“技术伦理”“信任与安全”以及“预防原则”本身。¹⁰ 他的标志性论调是一种道德倒置：“我们认为任何AI的减速都会造成生命损失。那些本可由被阻止存在的AI预防的死亡，是一种谋杀。” 撇开这一点只计算账簿一侧的假设死者，而忽略另一侧的灾难性死者不谈。观察这一招本身。在他的叙述中，谨慎不再是错误，而是变成了杀人。一旦你的对手是杀人犯，你就永远不必回应他们。

纪尧姆·韦尔东, ，他曾以“Beff Jezos”为笔名创立有效加速主义运动，后来被记者揭露真实身份，为这一立场提供了一套宇宙观。 有效加速主义 认为宇宙存在一种热力学驱动，朝着更高复杂性和更高智能演进，我们是它的工具，我们的职责是加速这一过程，让它在任何它青睐的基质上继续走向“意识的下一阶段演化”。¹¹ 物理学词汇之下，是一个真实的主张：增长是好的，反对者是颓废的。周围则是一堵俚语墙，“decel”“doomer”“safetyist”，每一句都关上了一扇对话的门。物理学本身并不蕴含政策。第二热力学定律是一种描述，而非指令，把对速度的偏好包装成自然法则，只是披着实验服的修辞。

Garry Tan 掌管 Y Combinator，这家初创公司孵化器播下了硅谷真实的一角，他在公开资料中像穿队服一样标着“e/acc”。他的贡献与其说是一种论证，不如说是一种广播。2023 年他发帖称“开源和加速主义才是正道”，并随时准备用“decel”回击任何呼吁我们放慢脚步、检查工作的人。¹² 这是列表中最纯粹的样本：立场浓缩为口号加污名化，有影响力却无论点。它奏效是因为无需正确，只需响亮，并被写支票的人重复。

这份名单上缺了谁

两次缺席是故意的。Google DeepMind 的 Demis Hassabis 和 Anthropic 的 Dario Amodei 都在朝着同一前沿推进，而且速度同样快，但他们都不属于这里，因为他们都明确表示风险是真实存在的，安全可能无法及时准备好。他们的实验室行为是否与这些话相符是一个合理的问题，而且是另一个问题。他们的论点并不是说没有什么可害怕的。

埃隆·马斯克是更难判断的案例。他曾发出工业界最尖锐的 AI 风险警告，随后又创办前沿实验室，按自己的方式建造它。他像批评者一样警告，却像推动者一样竞赛，这种矛盾值得认真对待。 按自身条款.

这十二个的共同点

把这些论点并排放在一起，它们根本对不上。萨顿说超级智能会夺走我们的未来，并认为这是好事。勒昆则说它永远夺不走任何东西，因为支配欲是同一个机器的两种相反预测，来自两位在世最杰出的计算机科学家，而在接下来该怎么做的问题上，他们的意见完全一致：造出来，不要让任何人拖慢脚步。

当无法就某项技术会做什么达成一致的人，却一致认为它不必被治理时，这种一致并非来自分析。请追随激励。每个人在这里获得的资金或地位，都与前沿推进的速度成正比，这并不使他们成为骗子，却使他们成为不该独自掌握限速的人。

治理超级智能的理由无需他们是反派，他们也都不是。它只需要一个事实：他们每次互相矛盾时都在证明——没人有答案。你不会基于支持者自己都无法一致陈述的论点，去进行一次性、不可逆的实验。答案不是一句更聪明的反驳来压过十二个自信的人。一场竞赛需要由一场 具有约束力的条约, ，在机器出现之前生效，同时抵达每一间实验室，因为此前从未有更小的措施阻止过任何一台。