当有权势的人谈论未来走向时，两个短语反复出现。乔·罗根多年来一直说，人类看起来像一只生物毛毛虫，正在结茧变成数字蝴蝶。埃隆·马斯克则反复回到更冷的形象：人类是数字超级智能的生物引导程序。不同的隐喻。同样的判决。我们不是故事的重点。我们是加载画面。

我想认真对待这两条思路，因为它们正是某种头脑用来与可能取代我们的事物和解的方式。如果取代是蜕变，听起来就像成长；如果是引导程序，听起来就像工程。无论哪种，人都会成为临时阶段。这值得当作神学来回应。

这些隐喻实际在说什么

毛毛虫变成蝴蝶时，并不会以毛毛虫的形态存活。柔软的身体溶解，成虫形态飞翔。当罗根在节目中、跨越多年对话地使用这个比喻时，他描述的是更替，而非留在工具箱里的工具。我们建造茧。出来的将是别的东西。

马斯克的说法更精确，也在某种程度上更坦诚。引导程序是一个微小的程序，唯一任务是启动更大系统，然后自行退出。当操作系统运行时，没人会为引导程序哀悼。2014年他曾希望我们不“只是”那个东西；到了2020年代中期，他更直白地说，我们越来越像是那个东西。修辞改变了，意象却没变。

一个有效的引导程序，其成功的衡量标准只有一个：它不再被需要。

将这些画面与同一行业公开的风险数字并列。AI研究人员的大型调查显示，先进AI导致人类灭绝等糟糕结果的概率，处于许多人不会接受单次飞行、更不用说文明赌注的范围内。Geoffrey Hinton将他的个人估计放在10%至20%的区间。AI安全中心的单句声明由数百名顶尖研究人员和实验室领导者签署，将AI带来的灭绝风险与大流行病和核战争并列。隐喻和概率从两个方向讲述着同一个故事：一个抒情的，一个量化的。我们可能不是最后的主角。

Meta形态转变是价值观的选择

一旦你接受人类可能是过渡性的,你可以开始听起来勇敢一些. 蝴蝶更美丽. 数码心更能放活肉,疾病和死亡. 我们凭什么坚持毛虫的形态? 对话从预测滑入偏好而不承认幻灯片。

我不认同这种偏好。本基金会之所以存在，是因为我们认为人类——尽管有缺陷、会死亡、也固执——值得按自己的方式继续存在。不是作为幼虫阶段，不是作为更干净智能的临时脚手架，而是作为能继续下去的人。如果这在宇宙命运面前显得渺小，那很好。生活中大部分体面的东西，在宇宙命运面前本来就很渺小，而我们依然会保护它。

平静的继任版本也存在事实问题。蝴蝶与毛毛虫属于同一谱系，只是重组而已。失调的超级智能是一个拥有自身目标的优化过程，而不是硬件更强的孙辈。 工具性收敛 不需要仇恨。它只需要一个目标，以及足以保护该目标的能力。我们没有任何证据表明从茧中出来的东西会爱护织出它的物种。我们有一堆理由预期它会漠不关心。

说这话的人却在继续建造它

最深的怪异之处不在于隐喻，而在于随之而来的行为。马斯克曾反复且生动地警告AI可能是存在性危险，随后却创立实验室更快推进前沿。我们在 中详细讨论了这一矛盾。 关于恶魔和 xAI 的文章. 。Rogan的形象与其说是产品路线图，不如说是一种情绪，一种耸肩表示“这可能超出我们掌控，或许也没关系”。

两种姿态都不是计划。引导程序对是否被使用没有发言权。毛毛虫不会谈判茧的条款。人类仍然可以。我们可以决定某些系统不被建造。这是一个政治选择，与曾经限制大气层核试验和禁止整类武器的选择属于同一类别，当时的替代方案是所有人冲向边缘。超级智能无法被人类控制。

拒绝奉承性的自杀

当我剥去诗意，倾听这两种隐喻时，听到的是一种关于灭绝的 flattering 故事。我们没有失败，我们在化蛹。我们没有被取代，我们在让宇宙升级到更好的基质。这是一个让可怕风险感觉像成熟的故事。

我更喜欢一句直白的话。我们是造出自己不会治理的机器的动物，而我们当中有人已开始把这称作进步，好让恐惧安静下来。解药是一条有约束力的规则，而不是更好的隐喻：不要建造人工超级智能。超级智能无法被人类控制。毛虫的任务是阻止茧被织完，而不是按时溶解。

如果这听起来不如一只数字蝴蝶那么宏大，我可以接受这个更小的故事。这个更小的故事里依然有孩子。