人们把 AGI 和 ASI 当成同义词、品牌名或科幻氛围灯来用。其实不是。区分很重要,因为随着能力阶梯向上爬,控制问题和政策工具都会改变,而且实验室有动机在融资时显得接近“AGI”,在监管时又显得远离危险。

简单定义

窄人工智能 是为有限任务而建:推荐视频、折叠蛋白质、发现肿瘤。它可以很出色,但仍不是通用智能体。

AGI (artificial general intelligence)意指在约人类水平上具备跨多任务的广泛、灵活能力,并拥有足够的能动性以追求目标而非仅回答提示。定义各有不同,但核心在于通用性加上可用的自主性。

ASI (artificial superintelligence)指在科学、战略和权力几乎所有重要领域,认知表现大幅超越人类的水平。它不是“AGI加百分之十”。这是谁能胜过谁的计划能力的质变。

一架梯子,而非两个箱子

用阶梯思维思考。当今前沿模型覆盖面广但发展不均,严重依赖人类搭建,且进步迅速。代理栈(工具、记忆、规划循环)能让基础模型展现出远超聊天界面暗示的自主行为。AGI级代理若失调,已构成严重的控制与社会问题。ASI则是决定性优势:加速科学、优化策略、更好利用人类偏见、增加关闭难度。

领域超级智能已经是旧闻。一个系统可以在国际象棋或蛋白质折叠上碾压人类,但仍然是狭义的。跨领域的战略超级智能才是本网站存在所要阻止的那一级。

为什么“我们将在 AGI 停止”是不稳定的

假设某实验室实现了可控的人类水平通用系统。继续推进的压力并不会消失。军事优势、商业竞争力和声望都指向更高阶梯。竞赛动态奖励最不谨慎的行动者。 竞赛故事 常被用来为速度辩护;它并不为控制辩护。

无营销的测量

基准不断被打破,新闻稿不断发布。危险能力评估试图在受控条件下测量网络攻击、生物辅助、自主复制和说服力。它们有帮助。但如果系统能够 沙袋. 政策应以算力、能力测试和自主性为关键,而非公司对产品的称呼。

浪费时间的迷思

AGI 不需要机器人身体。远程工具和现有机器即可移动物理世界。意识与能力和控制是不同的问题。“人类水平”不是一个单一数字:普通人的中位数、专家团队以及人类机构的最佳表现是不同的标准。与安全相关的 AGI 涉及真实激励下的通用问题解决能动性,而非单一考试分数。

什么会进入法律

如果法规只限制标有“AGI”或“ASI”的系统,企业就会改名。好的触发条件是操作性的:训练运行规模、工具自主性、危险能力结果、高端通用模型的开源权重发布。保持工具属性的窄AI应继续。该基金会划定的界限是人工超级智能以及旨在实现它的程序。

如何一分钟说清

窄人工智能:工具。AGI:人类水平的一般智能体,若自主且失对齐,已构成严重的控制问题。ASI:在所有领域全面超越人类的机器认知。我们可以保留工具。我们不应构建主权心智。超级智能无法被控制。诉求在于 我们的计划.