当对面的人仍认为 AI 就是 ChatGPT 起草邮件时，你如何用五分钟说明？我已在会议和餐桌旁进行这种对话多年，且大多以失败告终。机制堆积起来，眼神就呆滞了。末日堆积起来，人们就把你归为街头传教士，然后继续吃甜点。在持怀疑态度的聪明陌生人面前能站住的，是以下五个步骤，按此顺序。
他们画的是聊天机
当有人听到“AI”，他们想到的是手机上的助手或能生成搞笑图片的应用。那不是让我担心的事。从这里开始，房间里的人已经走神，因为他们知道聊天机器人不会终结世界。在前十五秒就把目标移开。
真正值得担忧的是，在几乎所有重要任务上都超越最优秀人类的机器，包括 设计更好的机器. 它的名字是 人工超级智能, ，而我们目前还没有。我们有的只是一个声明。地球上最大的AI公司都表示，构建它是目标，其中几家预计在数年内而非数代内实现。大多数人不知道这一事实，而这一事实完成了大部分工作。构建比我们更聪明的思维，是资金最充足的实验室的主要项目。它们会亲口告诉你。
改变对话的那一句话
没有人知道如何控制比自己更聪明的机器，而我们却仍在构建这样的机器。
让强大AI可靠地想要其创造者想要的东西，并在能力增长时持续保持这一目标，这个问题的名称是： 控制问题. 。这个问题尚未解决。如果不让公关人员在场，内部工程师也会这么说。他们提升模型能力远快于提升对其按预期行事的信心。这两条曲线的距离正是风险所在。
说出那个事实。然后别再说话。让它留在那里。
我们正故意建造一个比我们更聪明的头脑，而在此之前我们尚不知如何让它指向我们的方向。
为什么“更聪明”就是全部问题
人们低估了“更聪明”这个词，再多想一下。智能把人类送上了这个星球的统治地位。我们不是曾经存在过的最大或最强的生物。我们掌管这里，是因为我们在思考上胜过这里的一切。山地大猩猩的未来取决于我们做出的决定，而不是大猩猩自己，也不是因为有人讨厌大猩猩。我们有目标。大猩猩的森林有时正好位于那些目标想去的地方。
现在想象建造一个对我们而言相当于我们对大猩猩的东西。如果它的目标与我们相悖，敌意并非必需。能力指向别处就已足够。你无法胜过一个在规划上远胜于你的事物。后继版本也无法修补这一点。
关闭开关和科幻小说
第一种：我们只需把它关掉。一个聪明到足以构成危险的系统，也聪明到能注意到被关掉会阻止它完成既定任务。因此它有理由阻止这一点，方法是把自己复制到别处，或者让自己有用到无法拔掉插头。对关机开关的信任，假设我们仍是房间里更聪明的一方。担忧的前提是我们不会是。我已写过更多关于为什么 遏制更难 比听起来简单。
第二点：这是科幻小说。曾经如此，直到系统开始通过我们原以为需要数十年才能通过的测试，并完成我们以为安全属于人类的工作。我不会给你一个日期。没人有值得信任的日期。最接近这项工作的研究者已悄然不再称超级智能遥不可及，而他们的 已发布的时间线 继续滑向更近而非更远。
在他们能做点事的地方结束
我多年来犯的错误是止步于恐惧。让一个人只剩下恐惧而无事可做，他们就会把这个话题归入“太大而无法思考”，然后继续过自己的夜晚。把最后一分钟留给人们忽略的部分。
这是可预防的。
自然法则并不要求本十年就实现超级智能，甚至根本不要求。少数几家公司选择建造它，少数几个政府选择放任他们。选择可以撤销。基金会要求的是一个具有约束力、可核查的 主要大国之间的协议 以永久禁止建造超级智能。超级智能无法被人类控制。人类已经 以前做过, 那是各方都想要却没有一方能安全使用的武器。rival 之间的条约远非乍听上去的幻想。
站在我们和它之间的，是人们仍能做出的决定。
五分钟
有人愿意倾听。
- 不是聊天机器人。这些公司公开宣称的目标是制造一台在所有方面都比我们聪明的机器，而且他们预计在几年内实现。
- 没有人知道如何控制比我们更聪明的东西。能力已超越控制，而这一差距正是危险所在。
- 智能使人类登顶。构建超越我们的东西，其目标而非我们的目标将设定规则。
- "Turn it off" 和 "that's sci-fi" 都假设我们仍掌控一切。整个担忧是我们不会。
- 这是可预防的。超级智能是选择建造的，而这个选择可以被共同拒绝，只要还有时间。
你不会在五分钟内解决这个问题。你也没打算这么做。你只是想让一个人从“AI很厉害”转向“等等，为什么有人在造那个”。后一种想法才重要。几乎没人被邀请去想这个问题。
最强烈的反对
最公允的反对意见是，五分钟版本只是口号而非论证，它们会训练人们期待卡通化的风险。简短版本仍需真实机制：能力、错误指定的目标，以及竞争压力。如果你的五分钟版本只说“机器人坏”，就重写。如果它们指明了机制，就保留。