방지를 위한 MIRI 조약 초안
설명하는 초지능

이 논문의 제목은 인공 초지능의 조기 생성을 막기 위한 국제 협정 (arXiv:2511.10783), 머신 인텔리전스 리서치 인스티튜트 기술 거버넌스 팀의 아론 셔, 데이비드 아베카시스, 피터 바넷, 브라이언 아베타가 작성해 2025년 11월에 발표한 문서입니다. 서명된 조약이 아니며, 아직 조약에 서명할 정치적 의지가 존재한다고 주장하지도 않습니다. 이 문서가 하는 일은 ASI 거버넌스 반대자들이 수년 동안 이용해 온 간극, 즉 초지능 금지가 뒷받침이 없는 구호라는 주장을 메우는 것입니다. MIRI 초안은 외교관들이 필요로 하는 구체적인 내용으로 작성된 '뒷받침'입니다.

세계 기술 거버넌스 팀은 초지능으로 향하는 경쟁을 중단하는 국제 협정의 완전한 초안을 발표했습니다. 연산 제한, 칩 클러스터 선, 서로를 신뢰하지 않는 경쟁국을 위해 구축된 검증 체제가 포함됩니다. 그것이 실제로 말하는 내용과, 이제 존재한다는 것이 왜 중요한지입니다.

그것은 자연스러운 동반자와 함께 도착했습니다. 며칠 전 초지능에 관한 성명 는 제프리 힌튼, 요슈아 벤지오, 스튜어트 러셀을 포함한 850명 이상의 서명자를 모아 한 문장으로 초지능 개발은 광범위한 과학적 합의로 안전하고 통제 가능하게 수행할 수 있으며 강력한 공공 지지가 있을 때까지 금지해야 한다고 밝혔다. 그 성명은 요구다. 나카다 재단 초안은 메커니즘이다. 하나는 멈춤; 다른 쪽은 말한다 여기 실제로 중단을 검증 가능하게 만드는 방법이 있다.

보편적 조약이 아닌 연합

초안은 190여 개국 모두가 합의하기를 기다리지 않고 핵심 연합을 중심으로 구축된다. 저자들이 말하는 대로 "미국과 중국이 주도해 AI 훈련 규모와 위험한 AI 연구를 제한하는 연합"이다. 이 선택은 의도적이며 현실적이다. 첨단 칩, 선도 연구실, 제조 병목 지점은 소수 국가에 집중되어 있다. 워싱턴과 베이징이 스스로를 구속하고 공급망에 대한 영향력을 이용해 다른 국가들을 끌어들인다면, 합의는 보편적 동의 없이도 실제로 중요한 행위자들을 규율할 수 있다. 이는 몬트리올 의정서가 작동한 논리와 같다. 문제를 움직일 수 있는 당사자들부터 시작하는 것이다.

"너무 멀다"를 정의하는 문턱

인공지능 능력은 자연스러운 경계선이 없는 연속 스펙트럼이므로, 초안은 규칙을 측정 가능한 것에 고정합니다. 바로 FLOP(부동소수점 연산)으로 계산되는 훈련 연산량입니다. 두 단계로 설정합니다.

16그래픽 처리 장치 라인: 은폐된 칩 군집

컴퓨트 한도는 컴퓨트를 볼 수 있는 능력만큼만 유효합니다. 따라서 초안은 규칙을 물리적 단위인 대상 칩 클러스터에 연결합니다. 대상 칩 클러스터란 총 유효 컴퓨팅 용량이 16개의 H100 상당을 초과하는 인공지능 칩 또는 네트워크 클러스터를 의미합니다. 이를 구체화하기 위해 논문은 16개의 H100 칩이 대략 15,840 TFLOP/s를 제공하며 2025년 기준으로 약 50만 달러의 비용이 든다고 지적합니다. 그 선을 넘는 칩은 모니터링 시설 외부에 집중되어서는 안 됩니다.

이것이 전체 체제의 물리적 기준점이다. 최전선 훈련 실행은 공중에서 만들어지지 않는다. 희소한 칩으로 구성된 대규모 전력 소비 클러스터를 조립해야 한다. 초과하는 집중을 16개 GPU 선을 넘는 모든 경우에 신고되고 감시되는 장소로 강제함으로써 초안은 금지된 행위(은밀한 대규모 실행)를 눈에 띄지 않고 수행하기 어렵게 만든다. 검증 체제의 나머지 모든 것은 이 하나의 요건에 매달려 있다.

라이벌 간의 약속을 어떻게 검증하는가

상호 불신하는 당사자 간 합의에서 검증은 가장 어려운 부분이며, 초안은 이를 사후 고려가 아닌 핵심으로 다룬다. 기존 군비 통제에서 선례가 있는 여러 메커니즘을 계층적으로 적용한다:

• 공급망 추적. 첨단 AI 칩은 제조부터 판매와 설치까지 추적되므로 연합은 세계 연산 자원이 물리적으로 어디에 있는지 압니다.
• 전력 소비 모니터링. 대규모 훈련 실행은 막대한 전력을 소비하며 특징적인 패턴을 보입니다. 데이터센터 전력 프로파일을 모니터링하는 것은 신고되지 않은 연산을 적발하는 한 가지 방법입니다.
• 감시 시설로의 통합. 임계값을 초과하는 클러스터는 신고된 장소에 있어야 한다는 규칙은 "숨겨진 데이터 센터 찾기"를 "알려진 것들을 설명하기"로 바꾼다.
• 도전 검사. 한 당사국은 의심스러운 장소에 대한 단기 현장 사찰을 요구할 수 있으며, 이 장치는 수십 년의 실제 경험을 가진 화학무기협약 X부를 본뜬 것입니다.

이 중 어느 것도 공상과학이 아닙니다. 각각은 핵 또는 화학 약속을 검증하는 데 이미 사용되는 기술을 적용한 것입니다. 새로운 점은 이를 연산에 적용하고, 위험한 능력이 존재한 후가 아니라 전에 적용한다는 것입니다.

연구 제한, 연산뿐만 아니라

초안에서 가장 참신하고 논쟁적인 조항은 하드웨어를 넘어선다. 특정 연구 자체를 제한한다. 최전선 AI 개발에 기여하거나, 합의가 의존하는 검증 방법을 위태롭게 할 수 있는 연구다. 논리는 알고리즘 진보가 원시 연산을 대체할 수 있다는 것이다. 훈련을 10배 더 효율적으로 만드는 돌파구는 위험선을 넘는 데 필요한 연산을 조용히 낮춘다. 칩만 감시하고 과학은 무시하는 체제는 결국 과학에 뒤처질 것이다. 평범하고 유익한 연구를 질식시키지 않으면서 그 선을 긋는 것은 진정으로 어렵고, 저자들은 이것이 제안에서 가장 어려운 문제 중 하나임을 솔직하게 인정한다.

저자들은 이 제안이 오늘 시행된다면 인공 초지능 생성을 막기에 기술적으로 충분할 것이라고 주장하면서도, 이를 시행할 정치적 의지가 아직 존재하지 않는다는 점을 인정한다.

Scher, Abecassis, Barnett & Abeyta, MIRI Technical Governance Team, arXiv:2511.10783 (2025)

초안에서 법까지: 디딤돌은 이미 존재합니다

arXiv의 논문은 구속력 있는 문서가 아니다. 그러나 세계는 백지에서 시작하지 않으며, 여기서부터 집행 가능한 무언가까지의 거리는 생각보다 짧다. 세 가지 기존 체제가 부분적 선례며, 각 체제는 이미 MIRI 초안이 필요로 할 작업의 일부를 수행하고 있다:

이 단편들을 일관된 경로로 바꾸는 작업이 바로 옹호 단체가 유용한 지점이다. 이는 MIRI 초안, 초지능에 관한 성명, 기존 수출 통제, 유럽평의회 협약을 법을 작성하고 협상하는 사람들을 대상으로 한 구체적인 산출물로 종합하는 것을 의미한다. 국가 이행 모델 법안, 오늘날의 칩 통제와 EU AI 법이 조약이 구상하는 모니터링으로 어떻게 진화할 수 있는지에 대한 분석, 제안된 임계값에 대해 실제 AI 능력을 추적하는 평이한 언어의 업데이트 등이 포함된다. 그 산출물은 웹사이트에 앉아 있으면 거의 가치가 없다. 의회 직원, 행정부 사무실, 성장하는 네트워크 앞에서 가치가 있다 국가 AI 안전 연구소, 그리고 재단의 외교 채널을 활용합니다 정책 활동 그것들을 겨냥합니다.

초안이 대화를 바꾸는 이유

MIRI 문서의 가치는 모호한 열망을 구체적이고 논쟁 가능한 선택지로 바꾼다는 데 있다. 너무 낮거나 높다고 주장할 수 있는 엄격한 기준, 이의를 제기할 수 있는 16개 GPU 선, 좁히려 할 수 있는 연구 제한이지, 그대로 서명될 것이라는 점이 아니다. 이는 큰 진전이다. 논의를 "조약은 불가능하다"에서 "여기 조약이 있다. 우리가 합의해야 할 것이 정확히 이것이다"로 옮긴다. 우리 자신의 모델 조약의 구조적 개요, 요점은 장벽이 법적·기술적 도구의 부재가 아니라는 것을 보여주는 것입니다. 초안이 사용하는 모든 메커니즘은 이미 어딘가에 존재합니다. 빠진 것은 정치적 의지이며, 구체적인 초안은 그 의지를 키우는 데 도움이 되는 몇 안 되는 수단 중 하나입니다.