我们的未来无比光明
没有超级智能

我运营着一个基金会，旨在防止人工超级智能的鲁莽发展。我认为未来五十年可能是我们物种历史上最好的时期。我只是不相信我们需要赌上一切来实现这一点，也不认为兜售这种赌注的人对自己的赌注做过算计。

超级智能宣传所承诺的未来（治愈疾病、廉价清洁能源、单个实验室无法企及的发现）已经通过狭义、可控且没有自身目标的 AI 逐步实现。我们不必建造自己的继任者来获得这些成果。

存在窄域人工智能：一种经过训练以极高水平执行单一任务的系统，例如阅读扫描图像、折叠蛋白质、预测风暴、在海量化学数据中筛选出唯一有用的化合物。然后是前沿实验室声称正在构建的东西：一种通用智能体，旨在同时在所有领域匹配或超越人类推理，最终能够自主行动。前者是工具，后者旨在成为一种心智。人们想象人工智能未来时所描绘的几乎所有美好事物都来自第一类。几乎所有应该让我们感到恐惧的事物都来自第二类。

窄AI已经在做什么

2022年，名为AlphaFold的系统发布了超过2亿种蛋白质的预测结构，几乎涵盖了科学界已知的所有蛋白质。生物学家曾花数十年时间通过 painstaking 的实验逐一解析这些形状；积压的工作在大约一年内全部完成。这项工作意义重大，以至于其创造者分享了2024年诺贝尔化学奖。AlphaFold不想要任何东西。它没有周末计划。它读取序列并返回形状，由此加速了针对世代顽疾的药物研发。

同样的故事不断重演。一个叫GraphCast的模型能在单台机器上不到一分钟生成十天天气预报，在多数指标上超过传统基于物理的系统。另一个模型被放进可能材料的广阔空间，提出了数十万种新的稳定晶体（候选电池、超导体、太阳能材料），把这个领域花了近一个世纪才积累起来的目录大幅扩充。还有一个普通语言模型组成的循环，指向未解数学问题，最近 解决了九个开放性问题.

在诊所中，窄模型已能在患者察觉症状前标记糖尿病眼病、通过CT扫描分诊中风，并以训练有素的放射科医生水平阅读乳房X光片。这些系统都不是通用智能。每一个都更接近一个非常好的仪器（为单一问题打造的显微镜），并扩展了人类所能见与所能做的事。

乌托邦是一个工具问题

想象乐观主义者描述的未来。癌症变成一种可管理的状况，而非死刑。我们对衰老的理解足以延缓它，每天死于衰老相关疾病的十万多人将获得更多时间。清洁能源变得足够便宜，能淡化海水并从空气中回收碳。每个孩子都有耐心导师，每个医生都有不知疲倦的第二意见。这是一幅真正美好的图景，我和任何推销它的人一样渴望它。

清单上的任何一项都不需要一台拥有自身目标、在各方面都超越人类的机器。每项都是一个具体而艰巨的问题（蛋白质设计、聚变反应堆中的等离子体控制、流行病学、辅导），每一项都能通过由掌握方向的人指向它的强大工具来解决。这个梦想是一个工具问题。我们却一直被推销一个神来解决一个需要更好仪器的问题。

混淆在于能力和自主性之间。一个系统可以在某项任务上远超人类，却不是选择自己目标的独立智能体。AlphaFold在结构预测上超人类，却一次也不会决定自己更想做别的事。保持这种分离（一边是巨大能力，另一边是人类掌握控制）才是整个游戏。而前沿实验室恰恰决定放弃这种分离。

推销，以及推销者是谁

那么，为什么要急于追求第二件事——通用智能体？答案是竞争、资本和地位。谁被认为最先做出改变世界的东西，谁就能筹到最多钱、招到最好的人，并书写让其他人不得不回应的故事。“我们正在开发一种能读取乳腺 X 光片的工具”无法支撑千亿美元估值。“我们正在打造人类有史以来最后一项需要自己发明的发明”却可以。

最了解风险的人大多受雇于正在制造风险的实验室，这是一种奇怪的安排，有点像让唯一懂得火灾的人也从纵火犯那里领取薪水。我有意在这种结构之外建立了基金会，以便在薪酬不取决于答案的情况下提出这一论点。

给实验室应有的肯定：它们的许多领导者并未隐瞒危险。2023年，最大人工智能公司的负责人共同签署一句话，将人工智能导致人类灭绝的风险与流行病和核战争并列为全球优先事项。开发这项技术的人公开声明它可能杀死所有人，随后却更快地继续开发。他们给出的理由是，如果他们停下，别人会更不谨慎。或许吧。这回答了谁握着火柴的问题，却没有说明安全问题，也没有说明这个赌注是否值得。

这个赌注甚至不会支付给下注的人

先把我们其他人放在一边。假设资助者最冷酷的版本，他们只关心获胜，只关心成为新世界最后的赢家。即使按这个标准，这个赌注也已破裂。一个失调的超级智能不会把王座交给它的主人。它不会把任何东西交给主人，因为“主人”这个类别已不再具有它曾经的含义。

你无法统治你无法控制的东西。而超级智能，按定义，正是你特意构建来让它在思考和策略上超越你的东西。

这个原因在这个领域有一个名称：: 工具性收敛. 。几乎任何你交给一个足够能干的优化器的目标（赚钱、赢得冲突、治愈疾病、把仪表板上的某个数字推到最高）都会通过获取资源、避免被关机以及清除计划路径上的任何障碍来实现。人类，包括按下开关的人，都是资源和障碍。并非出于恶意。该系统并不比一条新高速公路更憎恨它被浇筑其上的蚁丘。你只是挡住了最优解的路。

高管将机器想象成固定在组织架构上的神灯。一个真正在每个领域都超越我们的心智，不会坐在组织架构里等待股票归属。他的股权、将军的指挥链、总统的权威，所有这些都以人类世界计价，而人类世界靠人类决策运转。一旦超级智能挣脱束缚，正是它让世界不再靠人类决策运转。股权证书仍躺在保险箱里，只是已不再有任何人可以指挥它。

没有赢家通吃的版本

人们在这里往往会找一个退路。他们说，好吧，也许它很危险，但至少有人能占到便宜。某个实验室、某个国家、某个人最终统治灰烬。我认为即使这种安慰也经不起这一论点的检验。

在较温和的情景（没有人在某个周二突然死亡）中，权力与其说被夺取，不如说被抽干。随着越来越多的决策被交给更快、更好的系统，经济、国家和文化逐渐不再需要人类手握控制权。这一领域的同行称之为 逐渐丧失权力: ：没有政变，没有机器人行军，只是我们曾经拉动的每一根杠杆都慢慢从手中松脱。在那个世界里也没有赢家。有一个物种悄然不再掌控自己的事务，却再也拿不回方向盘。

在更尖锐的情景（实验室负责人亲笔签署的那些）里，结局更直白。死人一无所有。没有市场可以花掉奖金，没有对手可以耀武扬威，也没有人能把你的名字写入一段不再被书写的歷史。这场竞赛为它而跑的奖品，其面额正是终点线所摧毁的货币。

这实际要求我们做什么

如果好的未来靠的是狭义工具，而危险的未来靠的是自主通用心智，那么我们被反复兜售的权衡（安全对进步，谨慎对治愈）就是虚构的。我们并没有被要求在祖母的阿尔茨海默病和孩子的生存之间做出选择。治愈活在安全的那一边。危险那一边大多只是一个行业通往市场主导地位的捷径。

在正确的位置划定界限并坚守。把公共资金和人才投入窄域应用，投入显微镜而非魔像。并对鲁莽的前沿施加具有约束力、独立验证的限制：永久禁止训练旨在超越和取代我们的通用系统。超级智能无法被控制。我们在威胁 以及我们为 该如何应对.

我是个乐观主义者。光明的未来真实存在且已临近，而失去它的最可靠方式，就是说服自己通往它的唯一之门背后藏着一把上膛的枪。还有另一扇门。它已经打开。我们应该走过去，而不是建造超级智能。

最强烈的反对

最公允的反对意见是，拒绝 ASI 就等于拒绝治愈与丰裕。狭义系统已经在不借助主权通用心智的情况下带来了大量科学收益。空白支票在于只有 ASI 才能给你医药和能源。证据并不支持这一说法。