韩国与英国共同主办了AI首尔峰会，这是2023年11月布莱切利公园会议系列的第二次会议。议程划分清晰。企业轨道上，领先开发者公开作出安全承诺；政府轨道上，各国同意深化评估科学合作。每个轨道实际交付了什么、留下了什么空白，至今仍是2024年ASI治理状况最清晰的写照。
两个输出都是真实的。两者都不是法律。
前沿 AI 安全承诺
核心文件是《前沿AI安全承诺》，由包括美国、中国、英国和阿联酋开发商在内的十六家主要AI公司签署。公司承诺发布安全框架，说明如何评估前沿模型的风险；定义被视为不可容忍的风险阈值；最重要的是，若无法将风险保持在该阈值以下，则不开发或部署模型，包括承诺在缓解措施失效时撤回。
真正有意义的转变是公开原则。领先开发者公开表示，某些能力过于危险而不能部署，他们将划定红线并付诸行动。行业从模糊保证转向明确限制。这些限制仍由自身定义。
为什么自愿承诺不够
- 公司自行设定阈值。 每个开发者自行定义不可接受的风险及其衡量方式。没有统一标准，也没有外部机构验证这些定义。
- 没有独立验证。 没有任何东西能确认内部安全框架得到遵循，或评估是诚实的。合规仅依赖开发者的承诺。
- 无执行。 违背承诺最多带来声誉成本。这些承诺并非法律。
- 它们可以修改或放弃。 在竞争压力下，自愿承诺可能悄然松动，一旦对手加速竞赛更是如此。自我监管就是如此脆弱。
民间反对意见认为，让实验室自我监管总比什么都不做好。没错，但还不够。一项由承诺者自行定义、衡量且可单方面违背的承诺，只是治理的占位符。占位符只有在被有意替换为更硬性安排时才有帮助。
安全机构的网络
政府轨道产生了更具持久潜力的成果：推动建立AI安全研究所国际网络。在英国和美国新设机构的基础上，各国同意在评估前沿模型的科学、共享方法、统一测试以及构建未来核查制度所需技术能力等方面开展合作。能够实际评估模型是否危险的公共机构，是条约最终所需的连接组织。参见基金会关于 AI安全研究所是什么.
首尔宣言获得与会各国政府背书，重申以人为本、安全可信的AI以及持续的国际合作。与布莱切利文本一样，它是一份方向声明，而非一组义务。
模式与差距
首尔符合危险技术治理的常见模式：先承认，再自愿承诺，然后（若进程成功）制定有约束力的规则。企业承诺与研究所网络属于第二阶段。未完成的工作是第三阶段：共同标准、独立核查与法律义务。
安全研究所是最有希望的桥梁，因为它们建设的能力正是具有约束力的制度将会使用的。风险在于峰会进程停留在自愿阶段，世界满足于承诺，因为承诺比条约容易，而能力却在持续推进。首尔峰会让承诺与治理之间的差距变得可见。弥合这一差距是剩下的任务。基金会的立场是，弥合它意味着从公司承诺转向 预防性国际法 在自我定义的红线在竞赛压力下消解之前。相关阅读：: 为什么自愿AI安全承诺作为唯一策略会失败.