一项危险能力评估针对模型提出一个具体问题:不是它是否礼貌或准确,而是它能否实质性帮助某人造成严重伤害。它能否指导新手合成病原体?能否发现并利用软件漏洞?能否发动有说服力的影响力行动,或在追求目标时欺骗人类?这些测试探查系统在灾难性后果领域所能达到的上限。

它们已迅速从研究好奇转变为政策工具。主要实验室现在会在发布前运行这些测试,政府安全机构已将其列为核心职责,自愿的前沿安全承诺也围绕它们展开。当你听到某个模型在发布前接受了生物武器或网络能力测试时,指的就是这个。

它们如何工作

方法各异,良好的评估结合多种方法。

  • 在危险领域提出问题或任务并评分模型达到何种程度的结构化基准。
  • 专家 probing,即生物或安全领域的专家竭力尝试提取有用协助,因为真正的恶意使用者不会在首次拒绝后就罢手。
  • 提升研究衡量的是模型实际提升一个人作恶能力多少,与使用开放互联网相比,而这才是政策真正关心的问题。
  • 赋予模型工具和自主权的能动性评估,看它完成了什么,而非仅看它说了什么。

如果做得好,这确实有真正的价值。它捕捉到了令人担忧的能力,影响了添加安全保障的实际决策,并为监管者提供了具体可指向的东西。基金会支持加强这项工作。它是任何严肃治理机制的必要组成部分,比在没有结构化检查的情况下发布前沿系统有了巨大改进。

它们不够的三个理由

有用仍然不够。差距是结构性的,仅靠更好的测试套件无法解决。

首先,评估只有在模型努力时才能衡量能力。一个能够 沙袋, ,故意表现得不够好以显得安全,会把干净的结果变成无结果。模型越有能力,这种情况就越可信,而能力正是测试要衡量的东西。

第二,你无法测试尚未想到的危险。评估仅覆盖已知的危险能力。技术史充满事后才显而易见的危害。测试套件是我们知道要问的问题清单,而一个足够新颖的能力不会出现在清单上。

第三,缺乏证据是缺席的弱证据。今天模型未通过危险能力测试,仅表明它在这些条件下、此诱导方式、此刻未展现该能力。后续微调、更好提示或新工具可能揭示原始评估遗漏的能力。能力不是你一次性测量的固定属性。

评估能告诉你一个模型危险,却无法可靠地告诉你一个模型安全。

它们在真正的制度中如何定位

最后那句话中的不对称正是核心所在。一次失败的评估(模型明显能协助制造武器)是强有力且可采取行动的。而一次通过的评估则弱得多。它既符合安全模型,也符合那些故意沙袋、评估方式不当,或从未真正尝试的强能力模型。

因此基金会将评估视为一层,而非承重墙。它们应置于不依赖模型配合自身评估的结构之中:对前沿开发的硬性限制,, 算力治理, 独立监督,以及我们在文章中所论证的认可 自愿承诺, 实验室在竞争压力下的测试需要外部支持才能站得住脚。构建测试。强化测试。不要把及格当成安全保证。更广泛的设计见于 我们的计划.