세계는 첫 인공지능 조약을 갖게 되었습니다.
여기서 다루지 않는 내용입니다.

2024년 9월 5일 리투아니아 빌뉴스에서 미국, 영국, 유럽연합 및 수십 개국 대표들이 인공지능과 인권, 민주주의, 법치에 관한 기본 협약에 서명했습니다. 이는 사상 최초로 체결된 인공지능에 관한 법적 구속력 있는 국제 조약입니다. 이 조약이 성취한 것과 결코 해결하도록 설계되지 않은 문제를 명확히 이해할 가치가 있습니다.

조약이 실제로 다루는 것

기본협약은 인권 문서입니다. 법적 의무의 핵심은 AI 시스템이 민주주의, 인권, 법치를 훼손하지 않도록 하는 것입니다. 실제로는 다음을 의미합니다:

• 투명성 요건: 인공지능 시스템이 사람에 관한 결정에 영향을 미칠 때 이를 알려야 합니다
• 책임 메커니즘: 국가는 인공지능 개발자와 배포자가 피해에 대해 책임을 질 수 있도록 보장해야 합니다
• 차별 금지: AI 시스템은 기존 평등법을 위반하는 결과를 생성해서는 안 됩니다
• 효과적인 구제책: AI로 피해를 입은 사람들은 법적 구제를 받을 수 있어야 합니다.
• 민주주의 보호 장치: 인공지능을 선거 과정이나 법치주의를 약화하는 데 사용해서는 안 됩니다

이것들은 의미 있는 약속입니다. 인종을 기준으로 차별하는 인공지능 채용 알고리즘, 투명성 없이 배치된 얼굴 인식 시스템, 인공지능 생성 허위 정보 캠페인, 이 모든 것은 조약의 틀에서 직접 다뤄집니다. 서명국은 이를 방지하기 위한 구속력 있는 의무를 수락했습니다.

집행 메커니즘은 당사국 회의로, 이행을 검토하고 권고를 발할 수 있다. 이는 화학무기협약의 검증 체제나 핵확산금지조약의 사찰 의정서보다 약하지만, 인공지능이 구속력 있는 국제법의 적용을 받는다는 원칙을 확립한다. 그 원칙은 2024년 9월 이전에는 확립되지 않았으며, 그 확립은 진정한 진전이다.

조약이 다루지 않는 것

프레임워크 협약은 인공지능이 사회에서 어떻게 사용되는지를 규율합니다. 문명적 위험을 초래할 수 있는 인공지능 시스템을 애초에 개발해야 하는지 여부는 규율하지 않습니다.

조약의 위험 체계는 현재와 가까운 미래의 인공지능 피해, 즉 오늘날 인공지능 시스템이 이미 일으키고 있는 진짜이고 심각한 피해에 맞춰져 있다. 이는 인공지능 영향을 받는 사회에서 인권을 보호하기 위해 설계된 도구로는 적절한 범위다. 그러나 인공 초지능으로 인한 문명적 재앙을 막기 위해 설계된 도구로는 잘못된 범위다.

조약 본문 어디에도 "초지능"이라는 단어가 등장하지 않습니다. 어디에도 frontier AI 개발 경쟁에 의무를 부과하지 않습니다. 그것은 컴퓨트 거버넌스, 훈련 실행 규모, 정렬 문제, 또는 지난 10년 동안 쌓인 경고를 한 제프리 힌튼, 요슈아 벤지오 및 다른 연구자들이 preoccupation하는 시나리오에 대해 아무 말도 하지 않습니다.

이 구분이 중요한 이유

기본협약을 적절한 거버넌스로 착각할 위험은 가상의 문제가 아니라 국제 협정을 만드는 정치 과정의 자연스러운 결과다: 조약이 존재하면 그것을 만들라는 정치적 압력이 충족된다. 기본협약에 서명한 국가들은 AI가 거버넌스되고 있다는 증거로 그것을 가리킬 수 있다. 가장 유능한 AI 시스템이 배치뿐 아니라 개발에도 구속력 있는 국제적 제약을 받아야 하는지에 대한 더 어려운 대화는 거버넌스 이정표가 선언된 후에도 쉬워지지 않는다.

기본 협약은 기존 인권과 평등법이 이미 규율하는 AI를 다루며 그 원칙을 AI 맥락으로 확장하고 국제적으로 구속력 있게 만듭니다. 이는 가치 있는 일입니다. 그러나 충분히 유능한 AI 시스템이 인간 복지와 미묘하게 어긋난 목표를 추구하며 돌이킬 수 없는 규모의 피해를 일으킬 위험에 대한 대응은 아닙니다. 그 피해는 어떤 법적 구제도 미치지 못할 수 있기 때문입니다.

"AI 개발이 AI와 인간 모두에게 잘 되도록 하는 것이 목표입니다. 이를 위해서는 이를 문명적 문제로 다루는 것이 필요하며, 제품 책임 문제로 다루지 않아야 합니다."

최전선 인공지능 안전 조약이 요구하는 것

인공 초지능 위험을 다루기 위한 조약은 기본 협약과 상당히 다른 모습을 띠게 될 것입니다. Nakada Foundation가 제안한 틀 그러한 조약에 포함되어야 할 내용을 설명합니다:

• 연산 거버넌스: 단일 훈련 실행에 적용할 수 있는 계산 자원에 대한 구속력 있는 제한이며, 하드웨어 수준 검증으로 뒷받침됩니다. 연산은 최전선 AI 개발의 병목이자 현재 국제적으로 측정하고 집행할 수 있는 유일한 변수입니다.
• 독립적인 검증: 핵 사찰과 유사한 감시 메커니즘으로, 당사자들이 비준수로 가장 이득을 보는 조직의 자체 보고에 의존하지 않고 준수를 검증할 수 있게 합니다.
• 최첨단 인공지능 보도: 가장 유능한 AI 시스템의 개발에 구체적으로 적용되는 의무이며, 사회적 맥락에서의 배포에만 국한되지 않습니다.
• US-중국 포함: 두 개의 주요 인공지능 개발 국가를 구속하지 않는 조약은 다른 나라가 얼마나 많이 서명하든 구조적으로 부적합합니다.

틀 협약은 필요한 첫걸음입니다. 인공지능이 구속력 있는 국제법의 적용을 받는다는 인식은 중요한 선례입니다. 그러나 실존적 기술 통치의 역사 (핵, 화학, 생물) 분야에서 첫 번째 조약이 가장 심각한 위험을 다루는 경우는 거의 없다는 것을 보여줍니다. 가장 위험한 것을 실제로 제한하는 프레임워크를 구축하려면 수년에 걸친 지속적인 정치적 노력이 필요합니다.

그 정치적 노력은 지금 시작해야 합니다. 기본 협약이 문제를 해결했다고 선언된 후도 아니고, 구속력 있는 제약을 집행할 수 없게 만드는 능력이 등장한 후도 아닙니다.