“我们一边造飞机一边飞。”这句话在科技界流行了几十年，如今已轻松进入AI领域。它带着半带微笑的语气，像工程师承认一个管用的黑客手段，意在炫耀胆识。字面听来，却是一份自白。

这个比喻借用了真实的声望。商业飞行是我们这个物种最好的安全故事：一个世纪前会常规杀死飞行员的活动，如今致命事故率低到以每百万架次而非每千架次计算。这个纪录是真实的。产生它的方法才是值得关注的，因为它的两个部分都无法经受我们正在构建的东西的考验。

每条规则背后都有一个实体支撑

航空安全是通过一次次坠机换来的。

1977年3月特内里费雾锁跑道，两架747相撞，583人遇难，仍是该行业史上最严重事故。由此产生了标准化无线电用语，并推动了机组资源管理，即允许副驾驶反驳机长的纪律。1983年加拿大航空797客机盥洗室火灾导致46名乘客中23人死亡，促使安装盥洗室烟雾探测器、垃圾箱自动灭火器、地面逃生照明和防火座椅材料。1996年价值喷气592航班坠入大沼泽地，机上110人遇难，携带化学氧气发生器作为货物的规定因此被改写。

行业给这种模式起了个名字，且不是恭维：墓碑心态。监管者只有在棺材数清后才行动。航空业已花数十年通过机组保密近失报告和公布调查结果供竞争对手阅读的意外事故委员会，成功摆脱这一模式。 那些改革是人们寻求的模式 他们用同样的理由主张AI可以被做成安全的。但请注意，即使是改良后的版本也需要什么：必须先出事，规模要大到行业能撑过去，而且频率要足以显现规律。学习循环依赖于它能承受的失败。

航空业拒绝做的事

这个比喻完全忽略了方法的另一半。航空业不会把一架新飞机送上天然后看会发生什么。在制造商向有权拒绝的监管机构证明其适航性之前，新机型不得搭载付费乘客：需要多年的分析和试飞，举证责任在制造商身上。 论据必须提前准备, 以书面形式，交给有权说不的人。

航空业中没人会在飞行中造飞机。这个行业早已禁止这种做法。按照前沿模型发布方式认证的机身，只靠制造商自己写张备忘录说‘似乎没问题’，就能起飞。

737 MAX

航空业已进行过与我们实验相近的尝试，其结果值得深思。

波音 737 MAX 搭载名为 MCAS 的软件，拥有将机头压下的权限。大多数机组人员并不知晓其存在。它仅从单一传感器获取世界图像，当传感器出错时，MCAS 严格执行其设计任务，逆着飞行员操作将两架飞机撞向地面。2018 年 10 月，狮航 610 航班：189 人遇难。四个月后，埃塞俄比亚 302 航班：157 人遇难。第二次事故后，全球机队停飞。

把那次失败的条件与我们的放在一起看。成熟的安全文化、强制认证制度、尾部记录仪、数千名训练有素的专业人员。即使如此，仍需346人死亡才确立：持有控制权且对世界有错误信念的软件，不会因为驾驶舱里的人类不同意就退让。MAX的部分认证工作已由监管机构委托给波音自己的员工，这一点值得在下次实验室给自己放行时牢记。

而MCAS什么都不想要。它没有飞行员模型，也不关心自己是否被关闭。它只是一个粗糙的代码片段，带着一个原始反射，却击败了所有人。

现在按字面理解这句话

隐喻中的飞机载着所有人。不是583人，不是346人。是所有活着的人，以及所有可能出生的人。没有备降机场，也没有第二架飞机可供一旦第一架坠毁后进行改装。让飞行变得安全的“坠毁—调查—修复”循环之所以可行，是因为坠毁是有限的，而且总有下一班航班可供吸取教训。在人工超级智能上运行这个循环，第一个数据点就会带走乘客和调查者。 试错需要幸存者.

这架飞机将自行飞行、自行选择目的地，并且比机械师更了解机械师。每项航空安全措施都假设机器对维修没有意见。 那个假设就是控制问题.

航空业通过世界能承受规模的坠机获得了安全记录。整个方法依赖于有下一次飞行。

基础是一种选择

人们常用这个短语来描述无路可退的困境：飞机已经起飞，我们不如趁机学会在空中把它造好。航空业的真实教训恰恰相反。监管机构的力量从来不主要在于事后调查，而在于让飞机留在地面。适航证书就是起飞许可，只有在充分论证后才会颁发。

我们被告知唯一的选项是边飞边解决问题。还有另一种选择。对构建人工超级智能实施具有约束力、可验证的禁令，是航空标准诚实应用的结果：不要构建比其创造者更聪明的头脑。超级智能无法被控制，因此它不会起飞。 那就是我们的计划, 它对世界的要求，并不超出世界对一架支线客机已有的要求。