AI 안전에 관한 거버넌스 문헌은 성공적인 비유에 편향되어 있습니다. 화학무기협약이 자주 인용됩니다. 몬트리올 의정서는 대부분의 진지한 논의에 등장합니다. IAEA의 핵 안전장치 시스템은 AI 감시 기구가 어떤 모습일지 보여주는 모델로 제시됩니다. 이들은 가치 있는 참고 자료이지만, 국제 거버넌스가 할 수 있는 일과 할 수 없는 일에 대한 불완전한 그림을 만듭니다.
특히 두 가지가 두드러집니다. 포괄적 핵실험 금지 조약은 발효된 적이 없고, 생물무기 협약은 검증 메커니즘이 없으며 20년 동안 대규모로 위반되었습니다.
실패 사례도 똑같이, 어떤 면에서는 더 유익하다. 거버넌스 체제가 붕괴하거나 미달하는 구체적인 설계 선택과 정치적 조건을 드러내기 때문이다. 아직 설계되지 않은 ASI 거버넌스의 경우, 성공 사례를 연구하는 것보다 이러한 실패 양식을 이해하는 것이 더 실행 가능하다. 성공과 실패를 결정할 설계 선택이 아직 열려 있기 때문이다.
실패 모드 1: 발효 함정
포괄적 핵실험 금지 조약은 1996년 9월 서명을 위해 개방되었습니다. 2026년까지 187개국이 서명하고 178개국이 비준했습니다. 아직 발효되지 않았습니다.
이유는 제14조 때문이다. 이 조항은 조약이 핵발전소 또는 연구용 원자로를 보유했던 44개국 모두의 비준 후에야 발효되도록 규정한다. 이 44개 부속서 2국 목록은 핵실험과 가장 관련 있는 국가들을 포괄하기 위해 설계되었다. 대신 중국, 이집트, 인도, 이란, 이스라엘, 북한, 파키스탄, 미국 등 8개국이 영구적인 거부권을 행사하는 구조가 되었다. 이 8개국이 모두 비준할 때까지 CTBT는 다른 국가들이 얼마나 많이 비준했든 상관없이 발효될 수 없다.
CTBT는 쓸모없지 않았습니다. 포괄적 핵실험 금지 조약 기구는 지진, 수중음향, 초저주파, 방사성 핵종 관측소로 구성된 글로벌 감시 시스템을 운영하며, 높은 신뢰도로 핵실험을 탐지할 수 있습니다. 이 감시는 2006년부터 2017년까지 북한의 6차 핵실험을 포함해 비서명국의 핵 프로그램에 대한 실제 정보를 제공했습니다. CTBTO의 감시는 조약 체제가 없으면 존재하지 않을 것이며, 현재 잠정 적용 상태에서도 그렇습니다. 그러나 조약의 핵심 의무인 핵실험 금지는 아직 발효되지 않았기 때문에, 실험을 수행할 가능성이 가장 높은 국가들에게 법적 구속력이 없습니다.
CTBT의 발효 조항은 44개 지정 국가 모두의 비준을 요구해 가장 관련 있는 행위자들의 보편적 적용을 보장하려 했다. 대신 어떤 단일 관련 국가라도 전체 체제를 무기한으로 막을 수 있는 구조를 만들었다. 미국, 중국, 러시아, EU, 모든 주요 AI 개발국이 비준해야 발효되는 비슷한 조항이 있는 ASI 거버넌스 조약은 같은 구조적 취약점에 직면할 것이다. 조약은 정의된 문턱에서 의지가 있는 당사국들 사이에 발효되어야 하며, 전제 조건으로 보편적 적용을 요구해서는 안 된다.
ASI 거버넌스에서 포괄적 핵실험금지조약의 실패는 특정 설계 선택, 즉 발효 조항을 가리킨다. 주요 AI 개발 국가 모두의 참여를 요구하는 조약은 각 국가에 전체 체제에 대한 일방적 차단 권한을 부여한다. US, 중국, EU, UK, 그리고 아마도 5~10개 다른 국가를 필수 당사국으로 지정할 수 있으며, 그중 어느 한 국가라도 조약의 발효를 무기한 막을 수 있다.
더 견고한 설계는 조약이 참여 의사가 있는 핵심 국가들 사이에서 발효되도록 하여 운영 중인 거버넌스 체제를 만들면서도 비참여국이 나중에 가입할 문을 열어 둡니다. 비참여국은 조약의 혜택(기술 공유, 시장 접근 우대, 협력적 안전 연구)에서 배제되므로 가입 유인이 생깁니다. 기존 참여국 사이에서 조약의 실효성은 가입이 어떤 결과를 가져올지 불확실성을 줄이는 입증된 거버넌스 모델을 만듭니다. 지뢰 금지 조약과 국제형사재판소가 모두 이 방식을 사용했습니다.
실패 유형 둘: 검증 없는 금지
생물무기협약은 1972년 서명을 위해 개방되었고 1975년 발효되었습니다. 이 협약은 생물무기의 개발·생산·비축을 금지하고 기존 비축물을 파괴하도록 요구합니다. 183개국이 가입했습니다. 검증 메커니즘, 사찰 기구, 위반 의혹을 조사하거나 불이행을 판단할 공식 기구가 없습니다.
소련은 1975년에 생물무기협약을 비준했다. 비준 2년 전인 1973년에 소련 각료회의는 명목상 민간 연구 기관들의 네트워크인 비오프레파라트 설립을 승인했으며, 이는 세계 최대 규모의 공격적 생물무기 프로그램이었다. 1980년대 절정기에 비오프레파라트는 약 6만 명의 과학자를 고용했고, 산업 규모로 페스트, 천연두, 탄저병 무기를 생산했으며, 항생제와 백신에 내성을 갖도록 유전적으로 변형된 병원체도 개발했다. 이 프로그램은 1970년대와 1980년대 내내 생물무기협약을 직접적이고 전면적으로 위반하며 운영되었으며, USSR 붕괴 후 소련 망명자들에 의해 드러났다. 생물무기협약 체제는 이를 탐지할 방법이 없었다.
이것은 전후 기간 가장 중대한 군비 통제 검증 실패다. 검증할 수 없는 금지는 규범이지 책임 메커니즘이 아니다. 이는 많은 경우 국가 행동에 실질적인 영향을 미치는 수용 가능한 행동의 공적 기준을 만들지만, 은밀히 위반할 수단과 동기가 있는 국가의 체계적인 위반을 탐지할 수 없는 구조적 한계를 지닌다.
생물무기협약에 검증 의정서를 추가하려는 협상은 1995년부터 2001년까지 이어졌다. 미국은 2001년 7월 제안된 의정서를 거부했는데, 그 검사 절차가 합법적인 상업 생명공학에 지나치게 침해적이며 위반을 신뢰성 있게 탐지하기에는 너무 약하다고 주장했다. 협상은 붕괴했고 구속력 있는 검증 메커니즘을 만들 수 있는 어떤 형태로도 부활하지 않았다. 생물무기협약은 검증 기구 없이 규범으로서 효력을 유지하고 있다.
생물무기협약 실패가 ASI 거버넌스에 주는 의미
생물무기와 인공지능의 비유는 완벽하지 않지만, 생물무기협약 실패의 여러 특징은 ASI 거버넌스에 그대로 적용됩니다.
이중 용도가 핵심 검증 과제다. 생물무기는 실험실 장비, 지식, 공정을 사용해 생산되며, 이는 합법적인 제약 및 공중보건 연구와 거의 동일하다. 공격 연구와 방어 연구, 또는 민간 용도와 무기 용도를 구분하려면 기밀 상업·기술 정보에 접근할 수 있는 고도로 훈련된 사찰관이 필요하며, 많은 경우 여전히 진정한 모호함이 남는다. 이 이중 용도 성격 때문에 화학무기나 핵무기처럼 명확한 특징이 있는 경우와 달리, 생물무기협약 검증 의정서는 기술적으로 까다롭고 정치적으로 논쟁적이었다.
AI는 더 근본적인 수준에서 동일한 이중 용도 성격을 지닌다. 자연어 생성을 위해 훈련된 대규모 언어 모델은 대규모 설득을 위해 훈련된 모델과 기술적으로 구별할 수 없다. 과학 연구 보조를 위해 훈련된 모델은 고위험 환경에서 자율 행동을 위해 훈련된 모델과 기술적으로 동일하다. 최첨단 AI를 상업적으로 가치 있게 만드는 역량은 잠재적으로 위험하게 만드는 역량과 같다. ASI 거버넌스 검증은 BWC 검증을 좌절시킨 것과 같은 도전에 직면한다. 기술적으로 동일한 시스템의 위험한 용도와 합법적인 용도를 구별해야 한다는 것이다.
"생물무기협약은 검증 없는 금지가 시간이 지나면서 정확히 어떤 결과를 낳는지 보여줍니다. 널리 받아들여진 규범이지만, 주요 강대국이 20년 동안 대규모로 명백히 위반했으며, 위반을 탐지하거나 대응할 메커니즘이 없습니다. ASI 거버넌스에서 이는 검증을 미래의 의정서로 미루는 경우의 기본 결과이며, 이론적 우려가 아닙니다."
검증이 인공지능에 불가능하다는 교훈이 아니라, 검증을 나중 의정서로 미루지 않고 조약에 처음부터 내장해야 한다는 교훈입니다. 생물무기협약의 검증 협상은 26년간의 노력 끝에 실패했습니다. 금지를 먼저 정하고 검증 체계를 미루는 ASI 거버넌스 조약은 같은 결과를 맞을 위험이 있습니다. 즉, 책임 메커니즘이 없는 규범이 보이지 않는 개발 프로그램과 함께 운영되는 결과입니다.
실패 모드 3: 비용 없는 탈퇴
북한은 1985년 핵확산금지조약에 가입했다가 1993년과 2003년에 탈퇴를 선언하고 2006년 첫 핵실험을 했다. NPT의 탈퇴 조항인 제10조는 국가가 자국의 최고 이익을 위태롭게 하는 특별한 사태가 발생했다고 판단하면 90일 통보로 탈퇴할 수 있게 한다. 북한의 탈퇴는 IAEA가 안전조치 의무 위반을 확인한 뒤에 이뤄졌으며, 탈퇴는 사실상 IAEA의 북한 핵 프로그램 감시 능력을 종료시켰다.
ASI 거버넌스에서 NPT/북한 선례는 탈퇴 비용의 중요성을 보여줍니다. 90일 통지로 아무런 불이익 없이 탈퇴할 수 있는 조약은 약한 보장을 제공합니다. 조약이 금지하는 활동을 추구하려는 국가는 그 활동이 드러나기 전에 언제든 탈퇴할 수 있기 때문입니다. ASI 거버넌스 조약의 탈퇴 조항에는 다음이 포함되어야 합니다. 조약 기구와 다른 당사국이 대응할 수 있을 만큼 충분히 긴 통지 기간, 탈퇴 통지 후 일정 기간 동안의 사찰 권한 유지, 탈퇴 의사 통지 시점부터 혜택 자동 정지.
이 설계 선택은 탈퇴를 막지는 못하겠지만, 탈퇴가 일상적이고 조용한 것이 아니라 비용이 크고 눈에 띄는 일이 되도록 보장할 것입니다. 목표는 국가들이 반대하는 조약 의무에 갇히게 하는 것이 아니라, 체제에서 벗어나는 행위가 국제적 관심과 외교적 대응을 불러일으키는 정치적으로 중요한 사건이 되도록 하는 것입니다.
ASI 거버넌스 설계자는 관련 조항을 작성하기 전에 이러한 실패를 연구할 수 있는 이점이 있다. CTBT·BWC·NPT 실패는 모두 문서화·분석되어 있으며 이용 가능하다. 그 실패를 낳은 설계 선택은 피할 수 있다. 문제는 ASI 거버넌스 조약을 만드는 정치 과정이 주요 강대국의 협상 입장과 접촉할 때 이 실패로부터 얻은 기술적 설계 통찰이 살아남을 수 있느냐는 것이다.
가장 강력한 반발
가장 공정한 반대는 실패한 조약이 조약이 결코 작동하지 않는다는 것을 증명한다는 것입니다. 실패한 설계는 나쁜 조항을 증명합니다. 발효 함정 누락된 검증 저렴한 탈퇴는 수정 가능한 초안 선택입니다. 교훈은 법을 포기하는 것이 아니라 그 반대를 작성하는 것입니다.