问AI是否有意识，其实是在问两件事，而这两件事往往被混在一起。一是哲学问题：系统是否有任何内在体验，有没有“成为它是什么感觉”。二是实际问题：系统是否危险。人们之所以抓住第一个问题，是因为他们以为答案能决定第二个。但事实并非如此，把两者分开，是这里最有用的做法。
意识与智能并非一回事
智能关乎能力，即建模世界、解决问题和实现目标的能力。意识或感知则关乎体验，即感受、觉知和视角的存在。这两者在我们唯一熟知的案例——我们自己——中通常同行，这就是我们假设它们必须成套出现的原因。但没有强有力的理由表明它们必须如此。
一个系统可以极其强大，却完全没有内在生命。今天的模型已在特定任务上超越人类，但据任何人所知，其内部完全黑暗。能力由系统所做之事衡量。意识则关乎作为该系统是什么感觉，而做与体验并不相同。
为什么我们目前无法回答它
诚实的立场是，没人知道AI是否可能有意识，我们也缺乏可靠的方法去查明；表面上看似暂时的空白，其实触及了哲学家所说的意识难题：即使在人类身上，我们也无法解释为什么物理过程会伴随体验，而且我们没有公认的外部检测体验的测试。
与人相处时，你从行为与共享生物学推断内在体验。AI打破了这两根拐杖。它能产生每一种外在的情感迹象，说自己快乐或痛苦，因为它在包含这些词语的人类文本海洋中受训，无论背后是否有任何东西。它也不共享我们的生物学。因此通常的证据不可用或不可信。两个严肃阵营存在分歧：一方认为意识关乎系统计算的内容，因此足够丰富的AI可能拥有意识；另一方认为它取决于大脑拥有的特定生物学特征而硅没有。双方目前都无法证明对方错误。
对安全至关重要的举措
来自人工超级智能的危险不取决于答案。
AI无需有意识即可造成灾难。它只需具备能力，并追求并非我们的目标。一个为错误目标而硬优化的系统，会通过其所作所为造成伤害，而非通过任何感受。 回形针最大化器 危险不在于它像你一样「想要」什么，而在于它是一个瞄准错误目标的高效优化器。让人工超级智能变得危险的机制，, 工具性收敛, 寻求权力, ，以及能力与目标在 正交性论题, 完全由能力和目标驱动。意识并非必要成分。
等待机器是否苏醒是对威胁的误读。一个无情的优化器就已足够。
确实取决于此的问题
有一个真正的问题确实取决于意识,它指向了另一个方向. 如果人工智能系统具有灵敏性,能够受苦受难,那么我们就必须在道义上加以考虑,并且大规模地建立、培训和删除这种系统将引起其本身严重的道德问题。 这种关切不同于安全关切。 因为我们目前不能 统治哨兵进出, 它坐 更接近我们的文章中的问题 AI 安全与 AI 伦理之比较.
这两个问题不应混淆。 AI能否自觉,是一个关于思想的深刻而开放的问题. AI是否危险是一个关于能力和控制的更固定的问题,基金会的工作正瞄准第二个目标,因为我们试图防止的风险到达了是否内燃灯. 应对这种风险的办法是: 我们的计划.