我被叫做杜默的次数比我能数的还多 几乎所有在公共场合做AI安全工作的人 也一样 标签在争论之前到达. 在我提到概率或时限 或者“控制”意味着什么之前, 我已经被整理成一个垃圾桶, 被吓倒的人, 那些想放慢速度的人,因为他们无法应付未来。 排序,因此被开除.

有趣的是，“末日论者”其实在完成一项任务；粗鲁只是外衣，而非原因。

加速主义一方最有效的举措几乎与他们是否正确无关。

这个词的由来

大约在2022和2023年，人工智能安全辩论不再局限于研究者内部，而是蔓延到社交媒体。在那里，观点形成阵营，阵营获得名称。加速主义阵营（认为人工智能应尽快建造的人）用“e/acc”后缀作为徽章写进用户名。他们也需要给另一方命名。“末日论者”就是这个名字，通常与“decel”搭配，意为减速，即想要放慢速度的罪过。

那年十月，马克·安德森发表《技术乐观主义宣言》后，气氛进一步僵化。它读起来更像信条而非论证，其中列出所谓“敌人”，包括“存在风险”和“预防原则”——即在规模化部署强大技术前先理解它的朴素想法。一旦担忧本身被归入“敌人”，持有者只需一个更简短的日常标签。“末日论者”便完成了这一任务。

我想公平对待它所源自的运动，因为其下有真实的论点，而我们 在其他地方详细认真对待过它. 一些加速主义者提出了实质性主张：进步是伟大的仁道力量，严格监管自有其危险，通过构建来学习技术。这些观点值得认真对待。而“末日论者”这个标签却被用来代替这些讨论。

标签实际的作用

末日论者是一种角色，而非主张。它将论证转化为人格类型，而人格类型无需回应，只需诊断。

看看安全一方实际在说什么。大致如下：来自超级智能系统的灾难概率足够高（不是确定，而是足够高），以至于我们应该在建造这些系统之前，先建立控制这些系统的能力。你可以质疑其中的每一部分。你可以论证概率比我们认为的低，时间线更长，“控制”是错误的框架，治理造成的伤害将超过它所应对的风险。所有这些都是真实的对话，其中一些是值得输掉的对话。

“Doomer”跳过了这一点。这个词的意思是：你是那种害怕明天的人。你的立场是一种情绪，而非一种论点，而情绪无需反驳——这是修辞学中最古老的招数，即针对人而非针对观点的论证，只是换了新装。它的精妙之处在于永远不必触及实际分歧。它把整场争论从“这是不是真的”转移到“什么样的人会相信它”，而加速主义者早已决定了答案。

这个词将论证转化为人格类型，而人格类型无需回应，只需诊断。

为什么它能落地

这个标签有效，因为它由人们早已想相信的自我认知构成。

从显而易见之处开始：没人想当悲观主义者。乐观读作自信与动力；谨慎读作胆怯与恐惧。将选择框定为建设者与末日论者，大多数人早已知道自己更想坐哪把椅子。这种框架在任何事实摆上桌前就已完成工作。

它还借用了更深层的东西——美国讲述自身的一个真实且大体光荣的故事。进步是好的。那些害怕铁路、印刷机、电灯的人错了，历史把他们记为愚人。加速主义者把这个故事原封不动地取下，把安全倡导者塑造成最新一批将被未来羞辱的胆小鬼。这个故事之所以有力，正是因为它常常是真的。关键在于未经论证就假定这一次也一样成立，假定超级智能就是印刷机而非某种新事物。它是否仍是同一个故事，正是全部问题所在，而这个标签的存在，正是为了让这个问题永远不被提出。

这个词针对的对象

把被扔到的人排成队，讽刺画就在你手中散开。

Geoffrey Hinton于2023年离开Google，这样他就能在没有公司监督的情况下谈论风险；他几乎是该领域最接近开国元勋的人。Yoshua Bengio是当今被引用最多的研究人员之一，他从自己的工作中得出了同样的担忧。2023年5月，数百名科学家和执行官（包括正加速建造该技术的实验室领导者）在一句话上签了名，将AI带来的灭绝风险与大流行病和核战争归为同一类别。他们并不害怕技术。他们建造了这一技术。无论你想如何称呼他们的立场，“害怕未来”都不是对它的描述，而是拒绝倾听它的方式。

这个词还把一个宽广的光谱压成一个点。认为灾难几乎必然发生的人，与认为概率只有百分之几但仍希望有保险的人之间，存在巨大距离——先知与精算师之间的距离。两者都被归为doomer。这个标签看不见差异，因为它从来不是为此而建；它的任务是让一套技术性、多样化且往往相当温和的观点看起来像一个狂热的邪教。我们写过一整篇文章讨论真正的 专家估计范围 正是因为这个原因。范围正是标签想要抹除的东西。

征兆

我反复思考的是：一个对安全问题答案胸有成竹的运动，不会需要给提问者起外号。

如果灾难风险真的接近零，那是一个你可以在公开场合辩护的主张。展示推理。解释为什么建造这些系统的研究者对他们建造的系统判断错误。论证alignment其实很容易，或者更大的智能必然带来更大的谨慎，或者实验室之间的竞赛会在有人犯下致命错误前自行纠正。这些都是艰难的论点，但它们存在，而当加速主义者真正提出这些论点时，我们才能进行那场辩论，我们 试图完整拥有.

“末日论者”这个词填补了本该有论证的空间。你宁可贴标签也不愿回应观点。给对手命名比反驳他更省事，从远处看也够像一场胜利，以至于围观者往往分不清刚刚看到的是哪一种。

如何回答它

拒绝这个框架。一旦对话变成建设者对末日论者，实质就已经离开房间。用一个问题把它拉回对象层面：你对灾难性风险赋予了什么概率，为什么是那个数字？几乎没有把这个词当作武器挥舞的人能回答，因为这个词的存在就是为了让他们不必回答。如果你想看看这样一个数字是如何真正构建而非断言的，我们制作了一个 P(doom) 计算器 逐一拆解这些要素。

然后揭掉标签。“末日论者”把一幅漫画（一个沉迷忧郁、厌恶进步的悲观者）贴到一个通常狭窄得多也平淡得多的主张上：这项特定技术带有特定风险，值得特别谨慎。把它们剥开。你可以热爱技术，渴望加速主义者描述的丰裕，相信未来可以非凡，同时仍认为我们应该在开启超级智能前能够引导它。这些并非对立立场。 美好未来的理由 直达正确处理这一部分，而非绕过它。

我不认为大多数使用这个词的人是在恶意争论。这个框架确实有诱惑力，而自信很容易被误认为正确，尤其是当它附带一个好故事时。但当一个运动能对批评者做出的最强举动是给他们一个不讨喜的名字时，这说明了它所站立的立场。我们的 案例 不靠恐惧驱动，也不靠憎恨进步。它靠的只是一条朴实无华的审慎：对于无法挽回的错误，要先把刹车造好。