在物理学中，奇点是某个量趋于无穷大、原有方程不再给出合理答案的点。黑洞中心是典型例子。把这个词借用到技术上，就得到了技术奇点：一种假设的时刻，届时机器智能驱动的变化如此之快、如此深刻，以至于我们预测甚至理解接下来发生什么的能力崩溃。
这是在描述一条界限，超越这条界限后，智能驱动的进步速度将超出人类的理解范畴，而非声称某个特定装置即将问世。
想法的来源
了解这一脉络值得，因为这个词常被松散使用。数学家约翰·冯·诺伊曼在1950年代被转述时曾思考，技术进步正接近历史上的某种本质奇点。1965年I.J.古德描述了 智能爆炸, 大多数奇点版本所依赖的机制。科幻作家兼数学家弗诺·文奇在1993年的文章中赋予这一现代概念名称与力量，他指出，高于人类的智能一旦出现，就会撕裂可预测历史的织物。发明家雷·库兹韦尔随后将其普及给大众，把奇点定在2045年左右，并融入指数级技术趋势的更广叙事。
这些是用同一个词包装的不同主张，这也是奇点既吸引狂热追捧又招致翻白眼的部分原因。
底层的引擎
剥去表象，核心机制很简单。如果你能造出一台在造机器上比人类更强的机器，包括改进自身智能，那么改进就会自我强化。每个更聪明的系统都更擅长产生下一个，进步速度会攀升而非保持稳定。运行这个循环，能力可能在极短时间内从人类水平上升到远超人类。
智能爆炸是“奇点”一词在多数严肃语境下的真正内涵。其不可预测性的预测由此而来：一旦系统以机器速度自我改进，轨迹便超出人类预测范围。我们将在其 自己的解释, ，而实质内容就在这里。
批评
- 自我改进可能遇到硬性限制。智能可能遭遇收益递减、数据瓶颈或物理约束，使曲线趋于平稳攀升而非爆炸式增长。
- 这个概念模糊。不同支持者含义不同，更宏大的库兹韦尔式版本把自信的日期设定与近乎神秘的语气捆绑，招致怀疑。
- 指数趋势会弯曲。看起来爆炸性的曲线往往只是 S 形曲线的早期部分，最终会趋于平缓。
这些理由合理，且没有一个需要假设奇点为假，而只需承认其不确定性。错误在于把对一场戏剧性命名事件的怀疑，当作对潜在风险的消解。
为什么标签不如机制重要
你可以完全拒绝“奇点”这个词及其预言色彩和精确日期，但仍会留下对政策真正重要的部分。严肃的问题是：机器智能是否可能快速提升，以至于超越我们的系统过渡速度快于我们监督或治理的速度，而不是2045年是否存在神秘时刻。这是一个关于 时间线 和起飞速度，而且不需要宏大的框架就已令人警觉。
如果你喜欢，可以丢掉这个词。它所指向的问题——转变太快以至于无法掌控——并不需要这个词才真实存在。
基金会所关注的是那个具体的、被淡化的版本。如果通往远超人类水平的AI的准备阶段可能迅速展开，那么建立治理并维持控制的唯一可靠时机就是在它启动之前，那时仍由人类做决定。The 竞争压力 率先达到该门槛只会缩短跑道。无论你称彼岸为奇点，回应都是一样的，那就是 我们的计划.
奇点绝不能发生
基金会的立场是禁止，而非预测。超级智能无法被人类控制。这个词所指的地平线是超越我们仍能决定的起飞点。它与 构建超级智能. 。奇点绝不能发生。