인공지능 안전 조약이란
협상이 어떤 모습일지.

1968년 핵확산금지조약은 수년간의 실무 그룹, 교착, 국내 갈등 끝에 초안 문구에서 서명 문서로 발전했습니다. "인공지능 조약이 필요하다"고 말하는 사람들은 그 기계를 거의 상상하지 않습니다. 그래야 합니다. 슬로건과 비준된 문서 사이의 간격이 대부분의 계획이 죽는 곳입니다.

국제 조약 협상은 외교 사절단, 법률 전문가, 기술 고문이 수년에 걸쳐 진행하는 기술적이고 장기적인 과정입니다.

국제 조약 협상은 어떻게 진행될까

대부분의 현대 다자 조약은 정치적 승인으로 시작한다. 일반적으로 UN 총회 결의안이나 다자 기구의 결정으로 협상 개시를 위임한다. 이는 협상 회의나 제네바 군축회의와 같은 기존 포럼 내 상설 위원회의 공식적 근거를 만든다. 이 정치적 승인이 없으면 조약에 관한 논의는 준비적이고 비공식적이다. 승인이 있으면 협상은 문서를 작성할 권한을 가진 공식 협상 과정이 된다.

협상 기구는 연간 몇 주씩 회기를 가지며, 공식 회기 사이에는 기술 작업반이 회기 간 작업을 수행한다. 작업반은 정의, 검증 메커니즘, 제도적 장치, 이행 의무, 재정 조항 등 특정 사안을 병렬로 다룬다. 각 작업반은 후속 회기를 거치며 전체 조약의 진행 중인 초안으로 통합되는 초안 문서를 작성한다.

초안 조약은 합의로 협상되며, 이는 모든 참가자가 동의할 때까지 어떤 조항도 확정되지 않는다는 의미다. 이는 다수결 투표보다 높은 기준이지만, 받아들일 수 없는 조항에 대해 어떤 국가도 표결에서 패배하지 않았기 때문에 더 지속 가능한 정당성과 더 폭넓은 참여를 만드는 조약을 낳는다. 비용은 합의에 더 많은 시간이 필요하다는 것이며, 속도는 가장 많은 반대를 극복해야 하는 대표단이 정한다.

텍스트가 최종 확정되면 서명을 위해 개방됩니다. 서명은 지지의 정치적 행위이지 법적 약속이 아닙니다. 법적 약속은 국가가 자국 헌법 절차를 통해 조약을 비준할 때 이루어집니다. 대부분의 조약은 법적 효력이 발생하기 전에 필요한 최소 비준 수를 명시합니다.

최첨단 AI 조약에 필요한 작업 그룹은 무엇인가

최전선 인공지능 개발을 규제할 조약은 국제법에 아직 답이 없는 질문들을 중심으로 한 작업반을 필요로 합니다. 주요 질문은 다음과 같습니다:

정의. 조약은 어떤 AI 시스템을 규율할지 명시해야 한다. 이는 핵무기나 화학 작용제를 정의하는 것보다 어렵다. AI는 위험한 버전과 안전한 버전 사이에 명확한 경계가 없는 연속적인 능력 스펙트럼이기 때문이다. 제안들은 계산량 임계값을 대리 지표로 삼는 데 집중한다. 특정 계산 규모를 초과하는 훈련 실행은 조약 의무를 발동시킨다. 임계값은 기술적 근거가 필요하고, 컴퓨트 비용 하락에 따라 정기적으로 개정해야 하며, 경계 근처 사례를 위한 분쟁 해결 메커니즘도 필요하다.

적용 대상 시스템 개발자의 의무. 정의된 임계값을 넘으면 어떤 조치가 요구되는가? 대부분의 제안은 훈련 실행 전 또는 실행 중 모니터링 기구에 사전 통지, 지정된 안전 기준에 대한 훈련된 시스템의 의무 평가, 평가 결과 보고, 기준을 통과하지 못한 시스템의 배포 제한을 포함한다. 이들 각각은 단일 협상 세션이 시작되기 전에 충분한 준수를 구성하는 것이 무엇인지에 대한 정의를 요구하며, 이는 그 자체로 기술적·법적 분쟁이다.

검증 메커니즘. 독립 기구가 신고된 활동과 실제 활동이 일치하는지 어떻게 확인할까? 이는 기술적으로 가장 까다로운 작업반이 될 것이다. 현재 논의되는 제안은 칩 제조사와 협력해 일정 사양 이상 판매를 추적하는 하드웨어 수준 모니터링, 대규모 컴퓨트 클러스터 방문 권한을 통한 시설 사찰, 훈련 로그와 평가 기록에 대한 감사 권한을 결합한다. 각 요소는 상업적 비밀과 국가 안보 분류 문제를 제기하며, 쉽게 해결되지 않는다.

제도적 구조. 조약을 관리할 기구는 어느 곳인가? 조약 자체로 설립되는 유럽연합과 유사한 신설 기구가 거버넌스 가치가 가장 높지만, 정치적 노력과 자원이 가장 많이 필요하다. 기존 기구에 위임하면 정치적 비용은 낮지만, 필요한 권한이나 기술 전문성이 없을 수 있다. 국제원자력기구는 이중 용도 기술 감시 경험이 있고, 국제전기통신연합은 인공지능 관련 사안에 대한 관할권을 일부 주장한다. 각 선택지는 자원 함의와 주요 강대국으로부터의 정치적 독립 역사에서 차이가 있다.

발효 요건. 조약이 법적 효력을 발생하기 전에 비준해야 할 국가를 명시해야 합니다. US, 중국 또는 UK 없이 발효된 조약은 프런티어 AI 개발을 담당하는 조직을 구속하지 않을 것입니다. NPT는 정의된 국가 그룹의 비준을 요구했습니다. AI 조약도 유사한 메커니즘이 필요하며, US와 중국의 비준을 요구하면 두 나라 모두 조약의 존재에 거부권을 행사할 수 있다는 명백한 어려움이 있습니다.

단계별 협상 과정

예측 가능한 걸림돌들

비슷한 협상 경험은 처음부터 설계에 반영해야 할 몇 가지 예측 가능한 분쟁을 시사합니다.

검증과 기밀 유지 사이의 긴장이다. 최전선 AI 프로그램을 가진 국가와 기업은 상업적·군사적으로 민감한 정보 공개를 요구하는 검증 메커니즘에 저항할 것이다. AI 능력은 경쟁 우위다. 검증 체제를 신뢰할 수 있게 만드는 사찰 권한은, 그 준수가 조약의 의미를 만드는 바로 그 당사자들에 의해 저항받을 것이다. 핵 체제는 핵 물질의 전용을 검증하면서 무기 설계 정보 공개는 요구하지 않는 신중하게 범위를 정한 안전조치 협정으로 이 문제를 해결했다. ASI 거버넌스에도 유사한 범위 설정 작업이 필요할 것이다.

임계값 정의 논쟁. 적용 대상 시스템을 정의하는 데 사용되는 컴퓨트 임계값은 어떤 것이든 논쟁의 대상이 될 것이다. 임계값 바로 아래에 있는 당사국은 더 낮춰야 한다고 주장할 것이고, 바로 위에 있는 당사국은 너무 낮게 설정되었다고 주장할 것이다. 또한 고정된 임계값은 컴퓨트 비용이 하락함에 따라 곧 시대에 뒤떨어지게 되므로, 정치적으로 논쟁이 되는 개정 메커니즘이 필요하다. 다른 조약에서 사용된 한 가지 접근은 고정 숫자를 조약 본문에 넣는 대신 기술 기구에 임계값 설정을 위임하여 조약 개정 없이 수정할 수 있게 하는 것이다.

중국 참여 문제다. 중국 없이 발효되는 조약은 US 밖에서 가장 중요한 인공지능 개발을 담당하는 조직을 규율하지 못한다. 중국이 자국 최전선 인공지능 개발에 구속력 있는 의무를 받아들이게 하려면, 깊은 상호 의심 속에서 신뢰할 만한 대가(기술 접근 보장와 US 개발에 대한 대칭적 제약의 조합일 가능성이 크다)를 제공해야 한다. 이는 조약 설계만으로는 완전히 해결할 수 없는 외교 문제이다.

민간 행위자 문제다. 최전선 인공지능은 주로 민간 기업이 개발한다. 조약은 국가를 구속하고 국가는 이를 국내 법률로 기업에 적용한다. 이는 핵무기나 화학무기 조약이 주로 국가 프로그램을 다루었기 때문에 겪지 않았던 규제 복잡성을 초래한다. 최전선 인공지능 조약은 국가 의무가 기업 의무로 어떻게 전환되는지, 기업의 위반이 해당 국가 당사자에게 어떻게 귀속되는지를 명확히 규정해야 한다.

"주요 군비통제 조약은 모두 협상이 불가능해 보이다가도 결국 협상되었습니다. 문제는 언제나 정치적 조건이 무르익어, 계속 아무것도 하지 않을 비용이 합의 비용을 넘어서는 시점입니다."

프런티어 AI 안전 조약은 아직 공식적으로 시작되지 않은 지속적인 정치 과정의 산물이지 단일 사건이 아니다. 현재 진행 중인 작업, AI 안전 정상회의, 양자 정부 논의, 국가 안전 연구소, 거버넌스 틀에 대한 학술 제안은 준비 단계다. 이를 공식 협상 위임으로, 조약 문안으로, 비준으로 전환하는 것은 수년이 걸리는 작업이다. 긴급성은 거버넌스 대상인 능력이 거버넌스 과정이 진행되는 속도보다 빠르게 발전할 수 있다는 점이다. 그 긴급성이 지금 진지하게 시작해야 한다는 주장이다.

가장 강력한 반발

가장 공정한 반론은 강대국이 자국 최전선 연구소를 결코 구속하지 않을 테니 협상을 논하는 것은 학문적이라는 것입니다. 모든 주요 군비 조약은 행동하지 않을 때의 비용이 커지기 전까지는 불가능해 보였습니다. 준비 작업은 이미 존재합니다. 부족한 것은 대중의 요구와 산업 수단이 강제하는 정치적 의지이지 새로운 어휘가 아닙니다.