人们总在问 AI 的“脑子”长什么样。那是一张城市大小的电子表格，里面全是没人读得懂的数字。这个画面不如发光的神经网络卡通浪漫，却更有用。如果你想知道我们在造什么，以及为什么控制这么难，那就从硬件和数学开始，而不是从隐喻开始。

一个权重文件

现代前沿模型就是一个文件。里面有数百亿甚至数千亿个参数，每个参数都是训练期间设定好的数值。这些数值就是‘连接’。研究人员几十年前从生物学借用‘神经元’一词，是因为早期示意图看起来有点像神经细胞相互连接。这种相似到此为止。

生物神经元是活细胞，带有化学反应、时序，以及在进食与睡眠的身体内部的历史。模型权重则是矩阵乘法中的一个系数。堆叠足够多的乘法，在足够多的文本和图像上训练，堆叠就能很好地预测下一个token，以至于能冒充对话。那个堆叠里没有任何东西在思考你。没有任何东西想要吃午饭。

当实验室发布模型卡时，他们描述的是一个训练好的产物：架构、数据混合、所用算力、评估分数。他们描述的不是一个心智。公众语言仍说“脑”，因为大脑是我们大多数人唯一见过的智能。

如果你打开它会看到什么

打开文件，你会看到层级。早期层倾向于捕捉简单模式（图像中的边缘、文本中的常见词对）。较后层将这些模式组合成从外部看像概念的东西。探查一个大语言模型的中层，你能找到激活空间中对应“法语”“引号内”或“此说法为假”的方向。那是真实结构。但它也不是一个人会认出的信念地图。

没有标记为“目标”的模块。没有“自我”的器官。只有从输入token到输出token的路径，由降低训练损失的任何东西塑造。如果模型后来表现得像有目标，那行为是预测压力下良好的副作用。

可解释性研究就是试图读取这个东西。进展真实但缓慢。以技工读取引擎的方式完全读取前沿模型，目前不在讨论范围内。这一差距对安全至关重要：你无法认证无法检查的东西。

为什么大脑隐喻会误导人

大脑是在会因鲁莽而死亡的动物体内生长的。进化花了很长时间惩罚那些忽视疼痛、社会联结和近期的主体。默认情况下，这些训练信号都不会存在于权重文件中。一个模型可以流利地谈论共情，同时优化一个与关怀毫无关系的得分。

大脑复制起来既慢又昂贵。训练好的模型只是信息。复制文件就能得到另一个实例。把它移到新数据中心就能运行。这更接近软件而非人，也打破了我们围绕单一身体、单一房间建立的所有安全习惯。

把这东西叫作大脑，你借用了某种脆弱、社交且终有一死的安慰。而这件人工制品完全不是如此。

这与超级智能有什么关系

当今系统已能让建造者意外发现他们从未刻意植入的能力。这就是该领域所说的“涌现”：在设计文档中没有列出条目，却在达到一定规模时显现的能力。继续扩大规模，接入工具、记忆和开放网络，就会产生能跨多步追求目标的智能体。“大脑”是否看起来像人类几乎无关紧要。重要的是，一个比我们更强大、我们无法完全读懂的系统，是否能被保持指向人类利益。

我们尚未解决那个问题。 对齐研究诚实地承认问题的难度. 。只要这个问题仍未解决，朝着人工超级智能推进就不是无伤大雅的好奇。它将加载一个权重文件，而这个文件有一天可能会比掌握删除键的人更聪明。

所以当有人问起 AI 的大脑是什么样子时，请直白回答。它是工业规模的数学，存放在一栋上锁建筑里的芯片上，每年都在改进。想象一台我们正竞相制造、使其超越操作员的机器，却没有证据证明我们能掌控它，而不是一个装满想法的头骨。 我们的计划 是在超级智能出现前停止那场竞赛，直到证据存在。