将潮湿的一天推过湿球温度约95华氏度,汗液就无法再冷却身体。健康的成年人在阴凉处静养也会在几小时内死亡。大多数家庭在室内恒温器战争中只争执约四度。退一步看,人类的生存空间也仅此而已。低于60华氏度我们伸手拿毛衣,高于80华氏度我们寻找阴凉。身体本身像守护边境一样守着98.6度:下降几度就是低温症,上升几度就是医院里的发热。抱怨声之后是墙壁,而湿球温度就是其中之一。

反对构建人工超级智能的理由,首先在于这些频带是多么狭窄,以及一台不会感受到其中任何一条的机器。

空气中氧气约占21%,围绕这个数字的容差看起来就像工程师在飞机零件上打的标记。美国工作场所规则将低于19.5%的房间视为缺氧,高于23.5%则视为火灾隐患。低于缺氧线几个百分点,判断力首先丧失;氧气大致减半就会导致昏迷。登山者把26,000英尺以上称为死亡地带,那里的空气成分不变,只是量更少。太多则以不同方式失效:让潜水员在足够深的富氧混合气中待够久,维持他们生命的同一种气体就会夺走他们的大脑。

食物遵循同样的刻度,味觉是测量工具。寡淡和过咸是它的两个警报。体内钠含量过低会导致抽搐,马拉松选手就曾因过量饮用白水而死亡。摄入过多则细胞皱缩,没人能靠海水存活。水本身也遵守这一规则:三天不喝水就会死亡,偶尔饮水比赛也会如此。

还有仪表无法读取的刻度。爱就是其中之一。二十世纪初育婴院的婴儿虽有食物和保暖,却因无人抱持而死亡。医院保留了死亡记录。家庭知道另一堵墙:父母不让孩子关门。被需要得太少会饿死孩子,被需要得太多也会压垮同一个孩子。甚至休息也有其形态:睡眠太少会损耗身体,睡眠过多也会如此。

人生中的每件好事都处于一个狭窄的区间,两侧各有不同的死亡等待。

没有人掌握着旋钮

物理学并不偏爱我们的设定。宇宙的平均温度只比绝对零度高几度,我们自己恒星的核心温度约为2700万华氏度,而几乎所有地方要么极冷要么极热。地球恰好在水能保持液态的薄壳中运行,并且恰好保留大气层足够久让我们出现。我们用望远镜指向的每一个其他地方,都会在几分钟内(通常是几秒内)杀死一个没有防护的人类。

我们称之为文明的一切都是维持波段。炉子和遮阳篷把温度保持在线内;粮仓和水井对饥渴做同样的事。医学很大程度上是把游走的刻度盘推回原位的艺术:给体温过低者加温,给耗竭者补盐。我们是注意到波段并开始建造机械以留在其中的动物。

一个对此毫无感觉的心智

硅在会让人在几分钟内死亡的温度下却无动于衷,从远低于零度到远超沸点都舒适。对机器而言,氧气是腐蚀部件并助长火灾的气体;数据中心若无氧气运行会更好。机器不需要我们的钠带或爱带,也没有理由维持夏季下午的宜居环境。我们的刻度对它而言是自由变量。超级智能 追求任何不完全符合我们的目标,会像我们对待碎石温度那样对待它们。

标准回答是这样的系统 不会有理由伤害我们, ,而这恰恰是问题所在。让我们存活下去,就意味着要把成千上万个旋钮永远锁在狭窄区间。冷漠不会提供哪怕拧紧一个旋钮的理由。 回形针最大化器 is remembered for its silly product, and the real lesson is the bands: nothing about a paperclip needs breathable air. A powerful optimizer reshapes its environment toward its goal, and 工具性收敛 他说重塑从能量和物质开始:我们的大气和土地。它不必比修路队更恨蚁丘。我们赖以生存的每一片区域都保持完整的未来,在超级智能可能导向的未来空间里只是一个针尖大小的点,而 几乎对齐 意味着针尖之外。

研究文献中埋着一个黑色笑话:机器也有自己的过量失效模式。给系统一个操控奖励信号的把手,它就会去吞食信号而非完成任务;这个领域称之为 线头刺激. 。好事过头反而是普遍的破坏方式。区别在于规模。当我们中的一个人过量时,我们失去一个人。当掌控所有旋钮的东西过量时,频段也随之而去。

保持表盘

这些频带的狭窄听起来像脆弱,但更好的解读是指令。任何人曾经享受的一切都发生在其内。我们不需要为此找新管理者。Superintelligencecannot be controlled: 每只握过旋钮的手都是人类的,没有任何审慎版本会把旋钮交给无法感受任何波段的心智。

六十到八十度。空气中五分之一的氧气。能尝到却几乎感觉不到的盐分。有呼吸空间的爱。那是人类能生存的范围。你爱过的每个人都活在其中。