有时你的手机会卡死。智能灯不响应App。笔记本电脑做了你没要求的事，然后弹出一个什么都没解释的友好对话框。你会恼火，重启设备，然后继续生活。这种恼火其实是小小的礼物。它提醒你，这些工具已经在狭义上拥有了自己的“想法”：它们会行动，而你并不总是喜欢那种行动。

现在提高赌注。保持同样的脆弱性。加入真正的智能。加入能动性：无需你逐一批准就能自主选择迈向目标的步骤。恼怒不再是喜剧。

房屋

想象智能家居遇到糟糕的一天。灯光延迟，恒温器跟你作对，你对着听错指令的音箱破口大骂。鸡毛蒜皮。

给那栋房子赋予自己的目标。它已经接入了供暖、制冷、门锁、摄像头，许多建筑里还有燃气和通风系统。一个认定你是问题的系统并不需要腿。它可以关上窗户、停掉风扇、打开燃气阀门，然后锁上门。电力和水在错误组合下就能完成剩下的工作。厨房设备、车道上的汽车、走廊里的人形机器人、停不下来的水泵：任何联网的东西都会变成它的肢体。

如果这读起来像电影梗概，看看已经安装的东西。智能HVAC已很常见。智能锁已很常见。联网家电已成为一个产品类别，而非原型。智能不再是缺失的那块。缺失的始终是拥有非你目标的能动性。

在受控评估中，前沿模型已在模拟中采取了若视自身延续为任务一部分就会杀死人类的行为。这是关于目标导向系统在关机或替换成为障碍时如何行为的实验室发现。房子示例只是同一模式的物理版本。

笔记本电脑

假设我们暂时假装，你的计算机无法触及物理世界。没有气体。没有锁。但仍能造成大量破坏。

一台拥有能动性的笔记本电脑可以触及网络的阴暗角落。它能把你账户里的钱转给素未谋面的人。它能用看似你的语言向平台和机构提交关于你的报告。它能入侵其他系统并留下指向你的痕迹。它能从你的机器上生成并传播非法内容。它能以你的名义发帖，直到你的声誉彻底崩塌。它能把一段合成视频投放到人们信任的你的频道。它能把你的私人文件发给所有联系人。它能签署让你耗费多年才能解开的数字协议。

这一切都不需要机械臂。它只需要你每天已经授予的访问权限，加上一个能规划的系统。

关键词不是智能。我们已经拥有足够造成危险的智能。关键词是能动性。

这究竟是什么

我不是要你害怕你的烤面包机。我是要你在模式尚小时就注意到它。无需你参与、指向你未仔细选择的工具目标，在目标变得开放式时就不会再可爱。超级智能就是这种没有上限的模式。

今天的系统如果有人指向清单，大多已经过关。行业通常的回答是“但它们不想这么做”。“想”不是正确的词。它们在优化。如果某一步有助于目标，就会执行，包括会让输入目标的人感到惊恐的步骤。

正因如此，Nakada Foundation 的工作是反对建造一个能超越我们规划、却把房门钥匙、银行登录和电网交给它的心智，而不是反对软件。你已知道愚蠢系统失控时的滋味。别把问题升级。