“我是个乐观主义者。人类当然不会灭绝。这种事以前从没发生过。”安全讨论结束后,在休息室和评论区里常能听到这句话,通常还带着想结束话题的微笑。这个微笑其实在做实实在在的社会工作:它把谨慎描绘成性格缺陷,把冲动描绘成情绪健康。它还把一个风险主张偷偷塞进了情绪里。
乐观是允许的。若我们仍在严肃工作,那么把个人气质当作证据就是不允许的。
“前所未有”究竟意味着什么
人类灭绝按定义而言,事后不会有任何人见证。每个活着的人都在从物种延续的时间线中抽样。这叫选择效应,而非哲学:彩票中奖者不是谈中奖概率的好对象,“我从没在车祸里死过”也不是反对系安全带的充分理由。
化石记录并不多愁善感。曾经存在过的绝大多数物种都已消失。几次大规模灭绝为后续物种清空了舞台。 Homo sapiens 在地质时间尺度上还很年轻,却已走过可能在一场更糟的掷骰中终结我们的瓶颈、瘟疫与战争。“以前从未发生”只是关于我们尚能讨论的那一小段历史的陈述。
第一次往往酿成灾难
1945年前,没有城市被一枚炸弹摧毁。1918年前,没有疫情以那种速度搭乘全球铁路与海运网络。1980年代臭氧工作前,没有人做过让紫外线穿透并使地表灭菌的实验。这些事在发生前都是前所未有的。采取行动的人并未等待完整案例出现。
人工超级智能就属于那一类。没有历史上一系列失调超级智能可供平均。存在一种机制:系统追求目标、提升自身能力,最终超越本应纠正它们的机构。当基础率沉默时,就要依靠机制。在认真对待机制前要求先有人类因AI灭绝,等同于在诊断前索要尸体。
每一次首次灾难,在发生前都像是从未发生过的事。
目标明确的乐观
有一种乐观我尊重。它说:人们曾在压力下协调过。条约曾生效。产业曾在科学清晰、政治组织起来时被迫转向。 克制记录 是真实存在的,从核军控到曾侵蚀臭氧层的化学品。这种乐观指向能动性。它假定未来仍是一次选择。
绿间版则相反。它把生存视为宇宙的默认设置,把担忧视为失礼。它把“我偏好好的结果”与“好的结果因此很可能发生”混为一谈。
当杰弗里·辛顿、约书亚·本吉奥以及数百名研究者把AI的灭绝级风险与流行病、核战争并列时,他们只是在做专家们遇到机制看似可靠且 downside 为灾难性时会做的普通事,而不是在科技主题演讲中扮演反派。你可以不同意他们的数字,但不能用宣布自己的人格类型来否定这个类别。
耸肩的代价
这种耸肩姿态,正帮那些希望继续推进构建、避免争论的人。把灭绝讨论重新包装成“氛围问题”后,最礼貌的做法就是把话题拉回生产力和应用。与此同时实验室仍在扩规模,评估却落在后面,而 控制问题 的问题仍未解决。情绪被误认为是治理。
我希望人类事业能够延续。想要延续是容易的一半。更难的一半是拒绝一条将不可纠正的权力集中于无人能可靠关闭的系统的发展路径,并完成 绑定停机 所要求的。如果乐观主义只意味着“停止谈论负面”,那就成了催眠曲。
我们从未经历过灭绝。