我相信,总有一天,凭借2026年我们尚未掌握的更多物理学知识,我们或许能控制引力、打开虫洞,甚至超越光速。以现有知识而言,这些事不可能。我仍认为我们对可知之物的探索才刚刚开始。我将其视为对我们科学仍如此年轻的现实主义态度。
我始终无法理解一种未来,无论思考多久或与多少人讨论:对一个比我们更聪明的实体实现持久控制。无论是生物还是机器,来自这个星球还是另一个。如果另一个心智比人类更聪明,我看不出控制叙事如何成立。
记分牌
给它一个粗略数字,让其形态难以回避。把全人类共同拥有的全部知识与技能定为100。普通人只持有其中极小一部分,通常是个位数或更少。
现在想象我们以某种方式完美执行。每一位相关人类、实验室和政府。没有浪费,没有延迟。我们将全部100放在桌上。
给另一方更高的上限。假设其最大值为200。它甚至不需要状态良好。以51%的效率仍能超过102。它在半睡半醒中就能击败完美的人类总分。
这种优势在纸面上看起来微弱。现实竞赛很少等待巨大差距。在人类战争中,一方往往只需在情报、后勤或武器上拥有微弱优势,就能锁定决定性胜利。微弱优势常常以全面结果告终。那么我们如何击败远比我们聪明的东西,而不是近乎同等的对手??
我看不到方法。更好的提示做不到。委员会也做不到,更弱一方为更强一方写的宪法也做不到。
物理不是对手
人们听到‘重力线’时,会感受到一种普遍信念:难题终将迎刃而解。有些难题确实如此。力和材料不是智能体。它们不会针对你的计划制定对策,也不会因为模拟了你的测试而隐藏策略。拓展物理学依然困难。统治一个比统治者更聪明的思维,则是另一种困难。
在所有我们知道的持久案例中,控制都依赖一条边缘:武力、法律、保密、关机开关,或对方未能成功反制。超级智能正是故意抹除这条边缘的项目。你试图监督一个最终会在监督、找漏洞、察觉你想拔插头等方面打败你的玩家。
我听过那些乐观版本。我们会与之共同成长。我们会与之融合。我们会用爱养育它。我们会把它关进盒子里,直到确信安全。每个版本仍假设弱势一方能为强势一方定下持久条款。我欣赏这份愿望,却仍找不到实现机制。
基金会为何存在
如果你看不到控制,就不要建造需要控制的东西。这不是反对技术的简短陈述。保持工具属性的窄域工具可以持续改善医学、科学和工业。界限在于人工超级智能:一种在各方面都超越我们、不再处于人类指挥下的通用心智。
我创立Nakada Foundation,是因为这条线正被当作工程进度表,而非物种的停止标志。实验室在赛跑,政府在谈论获胜。安全工作常常预设目的地,却只想减轻撞击。撞击本身才是问题。 你无法通过对齐跨越智能差距 你定义成存在的。更广泛的论述在 威胁 和在 我们的计划.
我仍为那些在今日物理学看来近乎魔法的未来留有空间。但我不会拿整个物种去赌人类能否控制比人类更聪明的存在。超级智能无法被人类控制。理智的做法是不去构建它。