2023년 7월 백악관에서 OpenAI, Anthropic, Google, Meta, Microsoft를 포함한 7개 주요 US AI 기업이 자발적 안전·보안·투명성 조치에 합의했다. 2023년 11월 블레츨리 AI 안전 정상회의에서 28개국이 최전선 AI 위험에 대한 공동 우려를 인정하는 선언에 서명했다. 2024년 6월 서울 AI 안전 정상회의에서 16개 AI 기업이 안전 임계값, 모델 평가, 정보 공유를 다루는 최전선 AI 안전 서약에 서명했다.
자발적 기업 안전 서약은 다른 산업에서도 오랜 역사가 있으며, 그 역사는 서약이 할 수 있는 일과 할 수 없는 일을 보여줍니다.
이들은 중요한 정치적 성과다. 최전선 AI 시스템의 선도 개발자들이 자신들의 작업이 심각한 위험을 초래하며 어떤 형태의 거버넌스가 적절하다는 점을 공개적으로 인정한 최초의 사례다. 이를 일축하는 것은 잘못이다. 그러나 이를 충분하다고 받아들이는 것은 더 큰 실수가 될 것이다.
자발적 약속이 실제로 요구하는 것은 무엇인가
서울에서 서명된 프런티어 AI 안전 서약은 주요 서약 중 가장 실질적입니다. 서명국은 배포하거나 훈련을 계속하지 않을 안전 임계점을 식별하고, 해당 임계점에 대해 프런티어 모델 평가를 실시·공개하며, 안전 사고와 평가 정보를 정부 및 다른 AI 기업과 공유하고, 안전 연구에 투자하기로 약속했습니다. 이는 공개적으로 관찰·논평할 수 있는 가시적 행동을 요구한다는 점에서 진정한 약속입니다.
그들이 요구하지 않는 것: 임계값이 충족되는지에 대한 독립적인 외부 검증, 미준수에 대한 구속력 있는 결과, 서명국이 미달할 경우 집행할 메커니즘, 서명하지 않기로 선택한 기업의 참여입니다. 이 약속은 해석과 이행에 대한 완전한 재량을 유지하는 기업의 의도에 대한 열망적 진술입니다.
이것이 자발적 약속의 구조이며, 구속력 있는 의무와의 차이는 미묘하지 않다. 자발적 약속은 당사자를 도덕적·평판적으로 구속한다. 구속력 있는 법적 의무는 법으로 당사자를 구속하며, 미준수에 대한 공식적 결과를 수반한다. 도덕적 의무와 법적 의무 사이의 간극이 바로 경쟁 압력 아래 가장 중대한 안전 결정이 내려지는 지점이다.
다른 고위험 산업에서의 패턴
자발적 기업 안전 서약은 대부분의 주요 고위험 산업에서 구속력 있는 규제에 앞서 이루어졌으며, 그 서약이 이룬 것과 이루지 못한 것의 패턴은 상당히 일관됩니다.
금융 서비스 분야에서 주요 은행들은 1990년대와 2000년대 초에 업계 주도의 위험 관리 규범과 관행을 발전시켰다. 이 규범들은 2007~2009년 금융 위기가 발생했을 때 이미 시행 중이었고 명목상 작동하고 있었으나, 자발적 위험 관리가 시스템적 위험 축적을 막지 못했음이 드러났다. 금융안정위원회, 바젤 III 체제, 확대된 의무 공시 요건이 뒤따랐다. 자발적 약속은 기본 관행을 개선했으나, 실패 비용이 가장 큰 꼬리 위험에서는 충분하지 않았다.
화학산업에서는 1984년 보팔 사고를 포함한 일련의 대형 화학공장 사고 이후 1985년 책임주의 프로그램이 시작되었다. 참여 기업들은 안전·보건·환경 성과를 개선하고 그 진척을 투명하게 보고하기로 약속했다. 책임주의 프로그램은 이후 수십 년 동안 산업 안전 문화를 개선하고 일상적 사고 발생률을 낮췄다. 그러나 중대한 사고를 막지는 못했고, 결국 구속력 있는 규제 요건으로 보완되었다. 프로그램 자체 평가에서는 가장 큰 한계가 독립 검증의 부재였다고 밝혔다.
1985년에 시작된 화학산업의 책임 있는 배려 프로그램은 현재 AI 안전 공약과 가장 가까운 역사적 유사 사례다. 안전, 투명성, 정보 공유를 포괄하는 자발적 산업 서약이다. 프로그램 자체가 20년 후 평가한 결과, 주요 한계는 보고된 성과에 대한 독립적인 검증이 없다는 점이었다. 동일한 한계가 현재 AI 안전 공약에도 구조적으로 존재하며, 성과 달성 여부를 확인할 메커니즘 없이 결과에 대한 공약만 남는 동일한 격차를 초래한다.
미국 원자력 발전소 안전은 처음에 주로 자율 규제와 산업 기준으로 관리되었다. 1979년 3월 스리마일 섬 사고는 자발적 산업 안전 문화가 대규모 인구에 영향을 줄 수 있는 기술의 실패 양식에 충분하지 않음을 보여주었다. 그 뒤로 독립 검사, 의무 사고 보고, 구속력 있는 운영 기준을 갖춘 원자력 규제위원회의 강제 감독 체계가 도입되었다. 당시 산업계는 강제 규제를 반대했으나, 지금은 자발적 접근이 이루지 못한 안전 문화 개선을 가져온 것으로 평가받는다.
경쟁 압력 문제
자발적 약속은 구속력 있는 규제가 갖지 않는 구조적 취약점을 지닌다. 경쟁 압력 문제다. 개발 일정 지연, 고가의 안전 평가 요구, 고수익 응용 배제와 같은 진짜 비용을 발생시키는 약속이라면, 그 약속에 서명하지 않은 기업은 그 비용을 피함으로써 경쟁 우위를 얻는다. 서명한 기업은 경쟁력을 유지하기 위해 약속 해석을 완화하거나 비용을 감수하고 뒤처지는 선택을 해야 한다.
이 역학은 AI 분야에서 가설이 아닙니다. 서울에서 프런티어 AI 안전 서약에 서명한 기업들은 그와 동등한 문서에 서명하지 않은 중국의 기업 및 국가 지원 프로그램과 직접 경쟁하고 있습니다. 그들은 또한 서로 경쟁하고 있으며, 서명한 서약은 준수 요건에 대한 합리적인 해석 차이가 불가피할 정도로 언어가 충분히 광범위합니다.
구속력 있는 규제는 모든 경쟁자가 따라야 할 최저선을 만들어 비준수로 인한 경쟁 우위를 제거함으로써 이 문제를 해결합니다. 이것이 구속력 있는 규제가 자발적 약속이 일반적으로 달성할 수 없는 안전 결과를 내는 이유입니다. 안전을 단축하려는 유인 구조를 제거하기 때문입니다.
자발적 약속이 잘 해내는 것
산업 안전 거버넌스 역사에서 자발적 약속이 수행한 가장 가치 있는 기능은 규범 확립이었습니다. 자발적 약속은 문제가 존재하며 특정 관행이 적절한 대응이라는 점을 산업계가 인정했다는 기록을 남깁니다. 이 기록은 구속력 있는 규제가 작동하는 기준선이 됩니다.
규제 당국이나 입법자들이 ASI 거버넌스에 나설 때, 최전선 AI 안전 서약은 이미 선도 기업들이 안전 임계값, 모델 평가, 정보 공유라는 거버넌스 개념의 정당성을 받아들였음을 확립할 것이다. 업계는 이런 요구사항이 기술적으로 불가능하거나 상업적으로 부적절하다고 주장하기 어려운 위치에 놓이게 된다. 이미 자발적으로 서약했기 때문이다. 이런 의미에서 자발적 서약은 구속력 있는 거버넌스로 가는 첫걸음이지, 그 대체재가 아니다.
자발적 약속은 제도적 기반도 만든다. 서울 약속은 기업들이 안전 기준 설정과 모델 평가를 위한 내부 프로세스를 개발하도록 요구했다. 이러한 프로세스와 그 안에 내재된 제도적 지식은 구속력 있는 검증 체제가 구축할 수 있는 토대이다. 의무적인 AI 안전 평가를 감독하는 규제 기관은 처음부터 준수 기반시설을 설계하는 대신 기존 기업 관행을 활용할 수 있다.
"자발적 약속은 거버넌스 발전 초기 단계에서 유용한 기능을 수행하며, 블레츨리와 서울 약속은 실제로 의미 있는 일을 했다. 그러나 모든 주요 고위험 산업의 역사는 같은 것을 보여준다. 자발적 약속은 기본 관행을 개선하지만 꼬리 위험에서는 실패한다. 꼬리 위험이 바로 우리가 초지능을 위해 거버넌스하는 이유다."
자발적 약속이 제공할 수 없는 구속력 있는 거버넌스가 요구하는 것
구속력 있는 거버넌스와 자발적 거버넌스를 구분하는 네 가지 요소가 있으며, 이 네 가지는 모두 최첨단 인공지능에 중요합니다.
독립 검증. 자발적 약속은 자체 보고입니다. 구속력 있는 의무는 규제 기관, 국제 사찰 기구, 또는 법적 지위를 가진 독립 감사인에 의한 제3자 검증을 받습니다. 자체 보고는 보고 기관이 정보를 왜곡할 유인이 없을 때 정확한 정보를 생산합니다. 경쟁 시장에서는 그 조건이 거의 충족되지 않습니다.
비준수에 대한 명확한 결과. 자발적 약속은 비준수에 따른 평판 비용을 만들며, 이는 실제적이지만 제한적입니다. 구속력 있는 의무는 법적 결과를 만듭니다: 벌금, 면허 취소, 시장 접근 제한 또는 조약 기반 처벌. 거버넌스 체계의 신뢰성은 그 결과의 신뢰성에 달려 있습니다.
비서명국에 대한 적용 범위. 가장 중대한 AI 개발은 자발적 약속에 서명하지 않는 기업이나 정부에서 나올 수 있습니다. 구속력 있는 국가 규제와 국제 조약 의무는 사전에 동의했는지와 무관하게 행위자에게 적용되는 거버넌스를 만듭니다. 자발적 약속 체계는 심각한 위험을 초래할 가능성이 가장 높은 행위자가 선택적으로 빠져나갈 경우 그들을 체계 밖에 둡니다.
리더십 교체에도 안정성. 자발적 약속은 회사의 현 리더십을 구속합니다. 리더십이 바뀌거나 이사회 구성이 바뀌거나 경쟁 압력이 커지면 그 약속은 그러한 변화를 견딜 법적 구속력이 없습니다. 구속력 있는 규제는 법에 내재되어 있으며 일반적인 조직 변화를 견뎌냅니다.
블레츨리와 서울에서 이루어진 자발적 약속은 진정한 성과이며 이를 기반으로 삼아야 합니다. 이를 기반으로 한다는 것은 그들이 성취한 것과 성취할 수 없는 것을 솔직하게 인정하고, 그들이 남긴 공백을 채우는 구속력 있는 거버넌스를 추구하기 위해 그들이 대표하는 정치적·제도적 동력을 활용하는 것을 의미합니다.
가장 강력한 반발
가장 공정한 반론은 자발적 규칙이 산업을 성숙하게 하는 방식이며 법을 먼저 요구하면 진보가 멈춘다는 것입니다. 자발적 규칙은 공개할 때 도움이 됩니다. 같은 기업이 시험을 작성하고 채점하고 이익을 얻을 때 실패합니다. 외부의 강제력이 성숙을 실현합니다.