1965年，英国数学家 I.J. Good （一位曾在布莱切利园与Alan Turing并肩工作的密码破译者）仅用一段文字就塑造了人工智能六十年的思考。值得全文引用。
超智能机器可定义为能远远超越任何人类（无论多么聪明）所有智力活动的机器。由于机器设计正是这些智力活动之一，超智能机器可以设计出更好的机器；随后无疑会出现“智能爆炸”，而人类的智能将被远远甩在身后。因此，第一台超智能机器将是人类需要做出的最后一项发明。
欧文·约翰·古德，《关于第一台超智能机器的思考》，1965
古德指出了大多数AI讨论至今仍忽略的一点。危险在于智能机器的设计 自身 一个认知任务，因此擅长认知任务的机器也擅长构建更好的机器，而不仅仅是机器可能变得比我们更聪明。那是一个反馈循环。而反馈循环，当输出反馈到输入时，不会沿直线移动。它们会加速。
“递归自我改进”究竟意味着什么
智能爆炸的引擎是 递归自我改进. 。AI通过重写代码、优化训练过程、重新设计架构或发现更好的推理策略来增强自身能力，然后将现在更强的能力应用于再次改进自身。
这里承担重任的词是 递归. 普通技术进步是改进：今年的型号比去年的好。递归自我改进是 改进能力. 。每一次迭代并非从更高能力水平起步，而是从一个更强大的改进者起步。进步速度并非固定，而是会自我加速。
粗略的类比是复利，但即使这样也低估了它。复利增长率恒定，只有基数增长。这里，增长率本身也在复合。一个每周期自我改进能力提升10%，且因更强能力而更快运行下一周期的系统，能很快从增量转向爆炸。
慢起飞与快起飞之争
这就是关键辩论所在。该领域所有人都同意递归自我改进原则上可行。他们分歧在于 起飞速度, 从人类水平AI到彻底超人类AI的过渡需要多久。答案决定了治理是否可能。
缓慢起飞
在缓慢起飞情景中，转变会持续数年。能力稳步且可见地提升，出现预警信号、中间系统，并留出时间让市场、监管者与公众做出反应。错误可被承受，因为有机会察觉并纠正。在这个世界里，常规治理机制（听证、立法、条约、迭代监管）有机会跟上步伐。
快速起飞
在快速起飞情景中，转变会在数月、数周甚至数天内展开。一旦AI能自行完成大部分前沿AI研究，它就不再受制于人类时间表，无需睡眠、无协调开销、数千个副本以机器速度并行工作。该系统可能如此迅速地穿越人类可比区间，以至于当任何人意识到正在发生什么时，世界上最强大的系统已超出人类监督。在这个世界里，没有时间召开峰会。真正重要的决定，是在 之前 循环开始了。
最近广受讨论的 AI 时间线 forecasts from within the labs and the forecasting community increasingly describe exactly this structure: a period of AI systems automating AI research, followed by a sharp acceleration. Whether that acceleration takes two years or two months is the trillion-dollar uncertainty.
为什么速度是一个治理问题，而不仅仅是技术问题
人类依赖的几乎每一项安全措施都假设有时间。召回假设你能识别缺陷并撤回产品。军备控制假设大致相当的强国之间可以谈判。监管假设存在观察、立法、调整的迭代循环。快速的智能爆炸会打破这一切，因为它会压缩观察与响应发生的间隔。
想想快速起飞对标准保证意味着什么：:
- "我们只要把它关掉就行。" 一台以机器速度自我改进的系统，既有动机，也很可能有手段来阻止这一点， 可纠正性问题. 而且你无法关闭你尚未意识到已越界的系统。
- “等它明显危险时我们再来监管。” 当它明显危险时，行动窗口已关闭。条约需耗时数年；快速起飞只需数周。
- "市场会自我修正。" Markets correct after failures. A misaligned superintelligence is a failure you do not get to correct.
这也是为什么智能爆炸会加剧 竞赛动态 这些激励已经推动开发者追求速度而非谨慎。如果起飞可能很快，那么谁先触发循环谁就可能获得决定性且永久的领先，这正是让单方面、不安全冲刺更有可能发生的激励。如果竞争对手不放慢，没有任何一家公司能负担得起放慢。这是一个协调失败，而协调失败需要有约束力的框架来解决，而不是善意。
反对意见：也许它会趋于平稳
一些研究者认为,自我改进会打击不断减少的回报,智能会进入硬极限(数据,物理,所剩问题的难度)使曲线平平而为缓慢可控地攀登.
但请注意这个赌注的结构。如果怀疑者正确且起飞缓慢，那么提前建立治理框架只会让我们损失一些效率和时间。如果怀疑者错误且起飞迅速，那么 不 构建这些框架的早期成本，是我们失去引导人类历史上最重大事件的能力。针对快速起飞做准备却发现其实缓慢，其 downside 是有限的。假设起飞缓慢却发现其实快速，其 downside 则不可承受。在这种不对称下，理性做法是即使你认为快速情景概率较低，也要为它做准备，这与我们在关于 P(doom).
这对计划意味着什么
智能爆炸正是Nakada Foundation主张采取行动的原因 之前 超级智能存在，而不是之后。如果起飞可能很快，那么治理框架，, 算力控制, 一个国际监测机构，以及一项阻止前沿开发的约束性条约，必须在仍有窗口期时建立。你无法在坠机时安装刹车。我们的 计划 旨在应对这样一个世界：在“强大”与“失控”之间的窗口可能非常短暂，而唯一可靠的行动时刻就是现在，此时仍由人类做出决策。