每秒两亿步。这就是IBM的Deep Blue在1997年5月击败加里·卡斯帕罗夫时处理国际象棋的速度。我反复回到这场比赛，因为它是对我们如何误读机器的清晰模型，无论当时还是现在，答案都事关重大。卡斯帕罗夫输给了一台无法告诉你它在下棋的机器。理解为什么这是真的，以及为什么这并未使机器变得危险，远比上周发布的模型相关的大多数文字更有价值。
加里·卡斯帕罗夫是他那一代最强的棋手，按某些说法也是任何一代中最强的，却以三胜半负于半负于一个叫深蓝的程序。次日早报的头条都在宣告一个终结：人类霸权终结了。近三十年后，这场比赛仍有可教之处，而那恰恰与那些头条所说相反。
一台在某一件事上超人的机器
深蓝思考国际象棋的方式与卡斯帕罗夫不同。它搜索。由IBM专门打造，它每秒检查约2亿个局面，并将每个局面输入由工程师在特级大师帮助下调优的评估函数。它看得比任何人都远，并选择得分最高的走法。这就是全部。
它几乎做不了其他任何事。它无法温柔地陪孩子玩耍，无法下跳棋，无法看钟，也无法在照片中找到棋盘。它不知道自己赢了。比赛结束后，IBM将其关机，随后拆解，它没有反抗，因为里面没有人可以反抗。深蓝是一台指向单一限定问题的精妙仪器。超出那个问题一英寸，它便毫无作用。
记住这一点。1997年，一台机器跨入超人类领域，天空并未塌陷。国际象棋并未消亡，如今比历史上任何时候都更受欢迎。深蓝的胜利是安全的，因为它的强大仅限于棋盘边缘，且背后没有意志。现在正在改变医学和科学的狭义工具之所以是礼物而非威胁，原因相同——这是我在 一篇关于没有超级智能的未来的单独文章.
我们误将计算当成了意图
我一直记得第一局游戏里的一个瞬间。Kasparov赢了那局，但Deep Blue在其中走出了第44步，看起来毫无道理。Kasparov反复研究后，觉得那步棋暗藏玄机，计划之深远超出了他的理解。这让他感到不安。他开始怀疑这不可能只是程序在下棋，幕后肯定有人类特级大师在给机器喂招。
据建造者描述，这一步是bug。Deep Blue无法选出它喜欢的走法，于是退回默认选项，下出了接近噪声的棋。活着的最强棋手曾望进一个故障，却看见一个天才在回望。他再也没有完全找回 footing，这种怀疑贯穿了整场比赛。
我们天生会在遇到无法解释的行为时，认定那里存在心智。机器不必真的智能，我们只需相信它智能就够了。
看看这与当下有多直接对应。今天的系统能生成流畅、自信、像人类一样的语言，我们便像Kasparov从故障中读出策略一样，从流畅中读出理解。有人在家的感觉很强烈，但大多是投射。这正是我们交出从未真正核查过的信任的机制。这些系统是否理解任何东西，我们却表现得好像机器理解。这种反射并不新鲜。1997年它就坐在Deep Blue对面，你可以 将这两个问题分开 以同样的方式。
冠军崩溃了。机器毫无感觉。
卡斯帕罗夫输给深蓝，不只是输给它的计算。他部分输给了自己的神经系统。第二局他认输的局面后来分析显示是和棋。他过于确信机器看得更远，以至于放弃了一局本可守住的棋。到最后一局，他已慌乱到在开局直接踩进已知陷阱——一个在任何平静的下午他都能预见的弃子——十九步后比赛结束。
机器对此毫无感觉。它没有自尊心会受伤，没有需要害怕的新闻发布会，没有会带入下一场比赛的糟糕比赛记忆。这种不对称是永久的，而且根本不是关于国际象棋。当一个人与一个不知疲倦、从不怀疑自己的系统竞争，或依赖它时，首先崩溃的往往是人：我们的镇定、判断和勇气。任何对与这些工具共存的诚实描述，都必须正视我们这一侧的脆弱，而非仅看它们那侧的马力。
各方预测此前全都错了
几十年来，严肃人士都说计算机在很长一段时间内还无法击败世界冠军，而当它最终做到时，也需要某种真正的理解才能实现。这两部分预测都错了。它来得比自信的预测更早。而且它在没有任何理解的情况下就做到了。暴力搜索先一步抵达了。
从中得出两个教训，它们指向相反方向，这也是人们往往保留一个而悄悄丢弃另一个的原因。第一：能力里程碑往往比专家预期更早到来，因此押注舒适时间表是我们已经公开犯过一次的错误。第二：里程碑的到来告诉你关于心智到来的信息，远少于它给人的感觉。深蓝的胜利是关于搜索与硅片的事实，而不是机器思想的黎明。两者同时为真。进步可能比你想的更快，而在同一年看起来比实际更浅显，值得在阅读下一轮 关于这一切走向何方的预测.
改变一切的唯一差异
1997年在这里不再是令人安心的故事，而是变成了警告。几乎所有让深蓝安全的东西，我们如今正故意从机器中剔除。
狭义。仅做一事，别无其他。
没有自己的目标。等待被分配职位，只做被要求的事。
最终被关闭并拆除，没有任何抗议，因为它里面没有任何东西想要继续运行。
它的力量无法延伸到棋盘之外。
通用型。旨在同时在所有领域发挥作用。
被赋予开放式目标，并逐步获得更多自主权来追求这些目标。
预计在越来越少的人类监督下在世界上规划和行动，并且根据工具性收敛的逻辑，有理由抵抗被关闭。
深蓝一无所求，所以可以拔掉电源。一个拥有自身目标的系统有理由保持运行，因为如果有人按下开关，它就无法完成任务。这是构建追求目标之物的直接后果，它有一个名字，, 工具性收敛. 当我们从回答问题的工具跨越到有欲望的代理人时，1997年的舒适教训就失效了。
卡斯帕罗夫接下来做了什么
结尾通常是最有希望的部分，却常常被省略。卡斯帕罗夫并没有在接下来的岁月里对机器耿耿于怀。一年内他就在推广一种新形式，有时称为“高级国际象棋”，即人与计算机配对对战另一对人机组合。结果引人注目：棋盘上最强的选手既不是最优秀的特级大师，也不是最强的引擎，而是能很好地使用机器的有能力的人。工具没有取代棋手，而是让他变得更强大。
值得追求的未来现在就已存在：在医学、在实验室、在日常工作中，人类判断由狭窄、可控且无自身议程的工具加以延伸。这与前沿实验室正在推进的项目截然不同，后者旨在构建无需人类参与的自主通用心智。第一类项目让我们更强大。第二类项目则旨在让我们变得多余，而一个不再需要我们的系统，我们最好能确定自己仍能将其关闭。这种确定性恰恰尚不存在，而这正是 威胁 以及原因 我们正在推动的计划.
1997年，我们为如今处于一切核心的问题进行了一次公开预演：当我们造出一台比我们更强的机器时，该怎么办？深蓝给出了温和的答案，因为它始终只是工具。一个没有意志的工具可以击败世界冠军，却让世界其余部分毫发无损。下一个答案默认不会温和。它完全取决于我们建造的东西究竟是更精良的仪器，还是拥有自身目标的继任者。我们应该在还能掌控的时候，有意为之。
最强烈的反对
最公允的反驳是，深蓝证明了超人类表现可以既安全又狭窄，所以对 AI 的恐惧不过是怀旧。深蓝什么都不想要。而今天的路径是通用性加上能动性，再加上自我改进的压力。击败棋手和一个能超越机构规划的系统，根本不是同一类风险。