누가 초지능을 통제하는가?
민주적 감독의 필요성

초지능을 향해 얼마나 빠르게 구축할지, 어떤 안전 기준을 적용할지, 그 임계점에 가까운 시스템을 언제 배포할지 결정하는 사람들은 주로 5~6개 민간 기술 회사의 직원과 투자자입니다. 그들은 구속력 있는 국제법의 적용을 받지 않으며 선출되지도 않았습니다. 그들의 결정은 서로에게 한 자발적 약속과 그들이 운영하는 국가의 규제 환경에 의해 제약을 받으며, 이 환경은 불완전하고 대체로 사후 대응적입니다.

그 사실들은 최종 답이 될 수 없다.

이것은 비난이 아니다. 이 조직들의 개인들은 많은 경우 진정으로 책임감 있게 행동하려 노력하고 있다. 문제는 구조적이다. 이 정도 규모의 결정은 특정 기업의 특정 개인들의 선의에 의존해서는 안 되며, 그들은 더 빠른 배포와 더 낮은 안전 마진을 체계적으로 밀어붙이는 경쟁 압력 아래 있다.

현재의 의사결정 구조

OpenAI, Anthropic, Google, DeepMind, Meta AI는 프런티어 AI 개발에서 주요 서구 행위자들입니다. 각 기업은 내부 안전 팀을 두고 있으며, 책임 있는 개발에 대한 공개적 약속을 했고, 프런티어 모델 포럼을 포함한 자발적 거버넌스 포럼에 참여합니다. 중국의 개발은 주로 국가 지원 기관과 정부 조정을 받는 대형 기술 기업이 주도합니다.

다음 능력 수준으로 언제 나아갈지, 배포 전에 어떤 안전 평가가 충분한지, 시스템의 정렬이 적절히 검증되었는지 등 가장 중요한 결정은 이 조직 내부에서 내려지며, 내부 안전팀이 검토하고, 주로 그들이 스스로 작성한 기준에 따라 평가됩니다.

이것은 구조적 격차에 대한 설명입니다: 초지능에 관한 결정으로 가장 큰 영향을 받는 사람들은 그 결정에 영향을 미칠 의미 있는 공식 메커니즘이 없습니다. 이는 특정 회사의 의도를 비판하는 것이 아닙니다.

민간 거버넌스가 구조적으로 실패하는 이유

초지능에 대한 민간 기업 거버넌스가 부적절한 세 가지 구조적 문제가 있으며, 이는 관련 기업의 의도와 무관합니다.

첫째는 경쟁 압력이다. 정렬 문제가 해결될 때까지 기다리고 싶어 하는 연구소조차, 먼저 배치하는 경쟁자가 회복하기 어려운 시장 지위를 차지할 수 있다는 사실을 안다. 이는 ‘충분한 안전’을 실제로 충분한 수준이 아니라 경쟁자보다 먼저 배치할 수 있는 수준으로 정의하도록 유도한다. 어떤 개별 기업도 이 문제를 단독으로 해결할 수 없다. 자발적 안전 서약이 존재하는 이유는 기업들이 이 문제가 현실임을 알기 때문이며, 자발적 서약이 불충분한 이유는 경쟁 압력 아래에서 휘기 때문이다.

두 번째는 안전 평가의 이해 상충이다. 인공지능 시스템의 안전 평가를 수행하는 조직은 그 시스템이 평가를 통과하는 데 재정적 이해관계가 있는 바로 그 조직이다. 이는 현재 분야의 상태일 뿐 불공정한 묘사가 아니다. 내부 안전 팀은 진지하고 가치 있는 일을 한다. 그러나 이는 제약 회사의 내부 임상 시험이 독립 기관의 규제 심사를 대체할 수 없는 것과 마찬가지로 독립적인 외부 검토를 대신할 수 없다.

셋째는 결정의 범위입니다. 초지능을 만들지 말지 그리고 어떤 시한으로 만들지는 문명 전체의 결정이지 제품 결정이 아닙니다. 그 결정의 적절한 주체는 미래가 걸린 사람들에게 책임지는 거버넌스 구조이지 주주에게 책임지는 기업 이사회가 아닙니다.

민주적이고 초국가적인 감독이 요구하는 것

초지능에 대한 민주적 감독 주장에는 민주적 절차가 완벽하거나 국제 기구가 순조롭게 작동한다고 가정하지 않습니다. 경쟁 압력 아래 민간 거버넌스가 분명히 더 나쁘다는 대안을 가정합니다.

적절한 감독은 세 가지 속성이 필요하다. 첫째는 대표 정당성이다. 거버넌스 기구는 영향을 받는 사람들, 궁극적으로는 최전선 AI가 개발되는 국가의 시민뿐 아니라 전 인류에게 책임을 져야 한다. 이는 광범위한 회원국을 가진 국제 조약 기구를 시사하며, 일방적 국가 규제가 아니다.

두 번째는 구속력 있는 권한입니다. 자발적 약속은 거버넌스가 아닙니다. 초지능을 위한 거버넌스 체계는 준수를 요구하고, 독립 감사를 수행하며, 위반에 대한 결과를 부과할 법적 능력이 필요합니다. 이는 산업 포럼이 아닌 조약 수준의 합의를 요구합니다.

세 번째는 기술 역량이다. 통치 대상이 무엇인지 평가할 수 없는 통치 기구는 그것을 통치할 수 없다. 국제 AI 감독에는 진정한 기술 전문성을 갖춘 직원, 모델 가중치와 훈련 기록에 대한 접근권, 정렬 주장을 독립적으로 평가할 수 있는 분석 도구가 필요하다.

핵 선례

위험한 기술의 효과적인 국제 거버넌스가 불가능하다는 주장은 역사로 반박됩니다. 1968년에 서명되어 현재 191개국에서 발효 중인 핵확산금지조약은 1960년대 분석가들이 예측한 것보다 훨씬 적은 수의 국가로 핵무기 확산을 억제하는 데 성공했습니다. 불완전합니다. 모든 확산을 막지는 못했습니다. 그럼에도 역사상 가장 영향력 있는 군비 통제 협정 중 하나였습니다.

1997년 발효된 화학무기금지협약은 7만 미터톤 이상의 신고된 화학무기 폐기를 검증했습니다. 화학무기금지기구(OPCW)가 운영하는 사찰 제도는 회원국 시설에 대한 독립 검증 방문을 수행하며 진정한 기술적 신뢰성을 갖추고 있습니다.

"초지능 AI 개발 책임은 단일 행위자(국가나 기업)에게 맡겨서는 안 되며, 인류의 다양성을 대표하는 민주적·초국가적 거버넌스 구조에 맡겨야 합니다."

글로벌 정책 저널, 2026년 2월

어느 조약도 ASI 거버넌스에 완벽한 유비는 아니다. AI 개발은 핵무기 생산보다 빠르고, 더 분산되어 있으며, 물리적으로 감시하기 더 어렵다. 그러나 이 선례들에서 나온 핵심 주장은 여전히 유효하다. 기술이 진정으로 전 세계적이고 잠재적으로 되돌릴 수 없는 위험을 초래할 때, 국제사회는 그것을 제한하는 거버넌스 구조를 구축할 능력을 보여주었다. AI가 유일하게 통제 불가능하다고 주장하는 것은 기술적 관찰이 아니라 선택이다.

경쟁 반대 논리와 그것이 질문을 해결하지 못하는 이유

초지능에 대한 민주적·초국가적 감독에 대한 가장 심각한 반대는 경쟁 논리입니다. 서방 민주주의 국가들이 거버넌스 제약을 받아들이는데 중국이 받아들이지 않는다면, 안전 의식이 약한 행위자가 먼저 초지능에 도달한다는 것입니다.

대응은 몇 가지 부분으로 나뉩니다. 첫째, 거버넌스 체계는 처음부터 모든 주요 행위자를 포함하도록 설계되어야 합니다. US와 동맹국은 기술 접근, 투자 흐름, 칩 공급망을 통해 중국의 인공지능 개발에 상당한 영향력을 행사할 수 있습니다. 그 영향력은 거버넌스 체계가 중국 없이 구축된 후 실패하기 전, 존재하는 동안에 가장 가치가 있습니다. 둘째, 중국 정부 역시 서구 기업이 개발한 비정렬 인공지능에 추월당하지 않으려는 이해관계를 가지고 있으며, 블레츨리 파크를 포함한 국제 인공지능 안전 논의에 참여한 바 있습니다. 중국 참여의 장애물은 실재하지만 극복 불가능하지 않습니다. 셋째, 다자 거버넌스의 대안은 모든 주요 행위자가 최소한의 안전 제약으로 먼저 배포하려는 경쟁이며, 이는 US나 동맹국에 분명히 유리하지 않고, 누가 만들든 비정렬 초지능의 출현 가능성을 높입니다.

경쟁에 대한 반론은 현상 유지를 위한 주장이 될 수 없습니다. 현상 유지는 경쟁 압력 아래 놓인 민간 거버넌스이며, 위 분석이 구조적으로 불충분하다고 지적하는 바로 그것입니다. "다자 거버넌스는 어렵다"에 대한 답은 그것을 향해 노력하는 것이지, 더 쉽지만 명백히 불충분한 거버넌스를 받아들이는 것이 아닙니다.

재단의 세 가지 정책 제안 은 이 제약을 명시적으로 염두에 두고 설계되었습니다. 모든 주요 행위자가 참여할 수 있도록 구성된 체제이며, 참여하는 편이 빠져나가는 것보다 매력적이도록 정치·경제적 유인을 갖추고 있습니다.