MAIM: 냉전 논리
이제 초지능을 목표로 함

"초지능 전략"은 2025년 3월 워싱턴에서 진지하게 받아들여지도록 구성된 저자 목록과 함께 도착했습니다. AI 안전 센터 소장 댄 헨드릭스, 전 Google CEO 에릭 슈미트, 스케일 AI 창립자 알렉산드르 왕이었습니다. 목적은 초지능을 연구 문헌에서 국가 안보 언어로 끌어들이는 것이었고, 그 기준으로 성공했습니다. 몇 주 만에 군비 통제 학자들이 논의하고, 싱크탱크에서 워게임되었으며, 의회 증언에서 인용되었습니다.

유추는 그것에 대해 가장 흥미로운 점이자 동시에 문제이기도 합니다.

그 중심에는 신중하게 선택된 하나의 약어가 있습니다. 상호 확실한 인공지능 오작동을 뜻하는 MAIM은 MAD를 의도적으로 반영한 것이며, 이 논문의 핵심 주장을 담고 있습니다. 즉, 핵 보유국들이 서로를 전멸시키지 못하게 막았던 그 무서운 대치 상태가 인공지능에도 상응하는 형태로 이미 존재한다는 것입니다. 누구도 이를 인정하지 않더라도 말입니다.

우리는 그 논문이 진정으로 중요한 점을 제대로 짚었다고 생각하며, 동시에 그 핵심 메커니즘이 맡은 역할을 감당할 수 없다고 봅니다. 두 가지 모두 중요합니다.

논문이 이미 존재한다고 말하는 대치 상태

논리는 다음과 같다. 한 국가가 결정적 돌파구, 즉 논문의 표현대로 초무기와 미래의 지배권을 부여할 시스템에 임박한 것으로 보인다고 가정해 보자. 어떤 경쟁국도 그런 일이 일어나도록 내버려 둘 여유가 없다. 한 수도가 초지능을 통제하는 세계는 냉전 시대에 선제공격 우위가 참을 수 없었던 것처럼 다른 모든 수도에게 참을 수 없는 일이다.

그러나 배치된 핵무기와 달리 진행 중인 AI 프로젝트는 취약합니다. 그것은 알려진 좌표의 데이터센터에 살고 전력망에서 작동하며 잘 배치된 침입이 조용히 손상시킬 수 있는 수개월에 걸친 훈련 실행에 의존합니다. 따라서 위협받는 경쟁자는 전쟁보다 짧은 옵션을 가지며 그 사다리는 첩보, 훈련 실행을 저하시키거나 데이터를 오염시키는 은밀한 사이버 공격, 주변 인프라에 대한 사보타주, 그리고 극단적인 단계에서는 시설 자체에 대한 물리적 공격입니다.

논문의 주장은 이것이 설명이며, 저자들이 AI 초강대국이 직면한 전략적 현실을 이미 포착한다고 주장한다는 것입니다. AI 우위를 향한 공격적이고 눈에 띄는 입찰을 하는 국가는 경쟁자들 덕분에 프로젝트가 실패할 것으로 예상해야 합니다. 따라서 이름이 붙었고, 따라서 역설적인 희망이 있습니다. 모든 플레이어가 우위를 향한 질주가 방해받을 것임을 안다면 아무도 질주하지 않으며, 게임에서 가장 불안정한 움직임이 억제됩니다. MAD와 마찬가지로 저자들은 의도적인 연습을 통해 대치 상태를 안정화할 수 있다고 주장합니다. 극단적인 단계가 덜 재앙적이 되도록 데이터 센터를 도시에서 멀리 배치하고, 에스컬레이션 사다리의 사이버 단계를 운동 단계를 명확히 분리하며, 경쟁자 간의 투명성을 확대하여 상업 프로젝트를 우위 입찰로 오해하지 않도록 하는 것입니다.

다른 두 기둥

MAIM이 헤드라인을 차지했지만 전략은 세 부분으로 나뉘며, 그중 두 번째가 우리가 가장 유용하다고 보는 부분이다. 비확산 테러리스트로부터 핵분열 물질을 멀리 두기 위해 만든 장치를 AI에 적용한다. 농축 우라늄을 추적하듯 첨단 칩을 추적하고, 도난으로부터 모델 가중치를 보호하며, 시스템에 생물무기 설계나 핵심 인프라 공격을 돕지 않도록 안전장치를 구축한다. 이 기둥은 연산 거버넌스 다른 모든 분야에서 경쟁하면서도, 워싱턴과 모스크바가 냉전 최악의 시기에도 비확산을 함께 추진했던 것처럼.

경쟁력 은 현실주의적 공물입니다. 국가는 인공지능으로 경제와 군사력을 강화해야 하며, 무엇보다 국내 제조를 통해 취약한 칩 공급망을 수리해야 합니다. 이는 이후 수출 통제 정치 이제 산업을 형성하고 있습니다.

이 논문은 이 삼각동맹을 두 가지 거부하는 전략과 대조합니다. 초지능을 먼저 만들고 희망하는 손을 놓는 경주와, 실행 불가능한 글로벌 모라토리엄으로 치부하는 것입니다. 이 설명에서 억제는 무모함과 순진함 사이의 성숙한 선택입니다.

논문이 올바르게 지적한 점

업적부터 보자. 수년 동안 경쟁을 정당화하는 표준 주장은 경쟁자의 초지능이 재앙적일 것이므로 우리가 먼저 도달해야 한다는 것이었다. "초지능 전략"은 이를 조용히 뒤집는다. 일방적인 지배 시도가 경쟁자에게 용납할 수 없다면, 모든 경쟁자의 시도는 누군가에게 용납할 수 없으며, 경쟁 자체가 해결책이 아니라 국가 안보에 대한 위협이 된다. 이 프로필의 저자들이 내놓은 이 역전은 실질적인 영향을 미쳤다. 통제 상실과 전략적 불안정을 정렬 논문을 읽지 않을 사람들의 책상 위에 올려놓았고, 존중할 만한 언어로 자제가 강제될 수 있으며 단지 요청될 뿐이라는 점을 확립했다.

한편 비확산 기둥은 우리가 주장하는 조약 구조의 한 조각일 뿐이며, 다른 방향에서 도달한 결과입니다. 칩 추적, 가중치 보안, 그리고 하드웨어 기반 거버넌스 는 억지 체제와 검증 체제 모두에 똑같이 쓰인다. 이를 구축하는 데 쓰는 돈은 모두 미래 합의가 검증 가능하게 만드는 데 쓰는 돈이다.

핵 비유가 무리한 지점

문제는 MAD를 안정적으로 만든 것이 무엇인지 묻고 각 요소를 AI 대응물과 비교할 때 시작된다.

핵 발사는 모호하지 않습니다. 수분 내에 귀속 가능하며, 원점이 미터 단위로 알려지고, 촉발되는 대응은 미리 모두에게 확실하고 이해됩니다. 이제 비교해 보십시오. "불안정화" 훈련 실행은 외부에서 보면 상업 실행처럼 보입니다. 동일한 클러스터, 동일한 전력 소비, 동일한 위성 신호. 임계값은 정의되지 않았으며, 초안 작성 노력 부족 때문이 아니라 능력이 미사일 플룸처럼 스스로를 알리지 않기 때문입니다. 이것이 우리가 부른 문제입니다 위험한 인공지능 정의하기, 마 그리고 마임은 이를 그대로 계승한다. 억지 체제에는 금지선이 필요하며, 그 논문은 정확히 어디에 선을 그어야 하는지 말하지 못한다.

귀속 문제는 반대 방향으로도 실패한다. 훈련 실행이 붕괴했을 때 그것이 사보타주 때문인지, 버그 때문인지, 아니면 나쁜 데이터 때문인지 알 수 없다. 국가는 자신도 모르는 사이에 공격당할 수 있으며, 이는 공격이 아무것도 억제하지 못한다는 의미이거나, 실제로 공격당하지 않았는데 공격당했다고 믿을 수 있으며, 이는 더 나쁘다. 억제는 가시적이고 신뢰할 수 있으며 귀속 가능한 위협을 통해 작동한다. 은밀한 사이버 작전은 이 세 가지 중 어느 것도 아니다. MIRI, RAND 및 기타 기관의 분석가들은 발표 후 몇 주 만에 정확히 이 점을 지적했으며, 특히 관찰 가능성에 대한 비판은 만족스럽게 답변된 적이 없다. 여러 연구자들은 안정적인 억제를 위한 조건이 아직 성립하지 않으며, 경쟁국 데이터센터에 대한 깊고 상호적인 투명성이 있어야만 가능할 수 있다고 결론 내렸다.

에스컬레이션 사다리 자체도 있다. 핵 보유국의 핵심 기반 시설에 대한 공격을 일상적인 국정 운영으로 규범화하는 것은 안정성을 위한 처방으로 보이지 않는다. 논문의 답변, 즉 사이버 단계는 운동 단계보다 훨씬 아래에 둬야 한다는 주장은, 파괴 공작의 대상이 우리가 어느 단계에 서 있는지에 대한 우리의 해석을 공유한다는 가정에 의존한다. 냉전사는 그러한 해석이 갈라진 순간들의 목록이며, 논문이 충분히 다루지 않는 또 다른 경고를 제공한다. 상호확증파괴는 사고·오경보·오판으로 여러 차례 실패할 뻔했으며, 교리만큼이나 운에 의해 구제되었다. 그 논리를 채택한다는 것은 그 실패 양식을 채택한다는 의미다.

억제에는 명확한 방아쇠와 확실한 대응이 필요합니다. MAIM은 지금까지 둘 다 갖추지 못했습니다.

MAIM이 작동하더라도 할 수 없는 것

프레임워크에 모든 것을 부여하더라도 더 깊은 한계는 남습니다. MAIM은 한 가지 특정 실패, 즉 국가가 일방적 지배를 위해 의도적으로 눈에 띄게 질주하는 상황을 억제합니다. 그러나 우리가 가장 우려하는 실패 양상에는 아무런 대처도 하지 못합니다. 그 양상에는 억제할 가해자가 없기 때문입니다.

정렬 실패는 데이터센터 위에 어떤 깃발이 휘날리든 상관하지 않습니다. 각자 파괴 임계값 아래에 머무르도록 조심하는 경쟁 프로그램들로 이루어진 세계 역시 여전히 아무도 통제할 수 없는 시스템을 향해 질주하며, 경쟁에서 안전을 소홀히 하려는 평소의 압박이 그대로 남아 있습니다. 더 나쁜 점은 상호확증파괴가 자체 압박을 더한다는 것입니다. 파괴 위협을 받는 프로젝트는 숨기고, 강화하고, 분산시킬 이유가 충분하며, 비밀은 가치 있는 모든 안전 관행의 적입니다. 억제는 경쟁자를 감시하면서 통제 문제 그 자체는 규제되지 않고, 재앙으로 이어지는 더 느리고 조용한 경로들 점진적 권한 상실 지배력 확보를 전혀 요구하지 않는 것은 그 레이더를 완전히 벗어납니다.

교착 상태 역시 안정된 상태가 아니다. MAD가 용인될 수 있었던 이유는 기존 무기의 사용을 억제하는 것이 한정된 과제였기 때문이다. MAIM은 매년 알고리즘이 더 효율적으로 변하고 연산 최전선이 분산됨에 따라 기준이 바뀌는 움직이는 역량의 개발을 영원히 억제해야 한다. 영구적인 위기 관리는 좋은 브랜딩을 붙인 카운트다운이지 전략이 아니다.

억지력과 조약은 경쟁자가 아니다

핵 억제는 결코 단독으로 서 있지 않았습니다. 수십 년에 걸쳐 덧붙여진 평범한 장치들로 생존 가능해졌습니다. 핫라인, 사찰, NPT, SALT, START 검증 절차 각 측이 상대방의 탄두 수를 셀 수 있게 한 것입니다. 상호확증파괴는 두려움을 제공했고, 군비 통제는 그 두려움을 전쟁으로 바뀌기 전에 규칙으로 전환했습니다. 이 논문이 조율된 자제를 유토피아적이라고 일축하면서 냉전 역사의 전반부만 인용하고 후반부를 무시하는 것은 냉전을 선택적으로 인용하는 것입니다.

그리고 두 절반은 하나의 엔진을 공유합니다. 국가가 신뢰할 수 있게 사보타주를 위협하려면 경쟁국의 인공지능 프로그램을 충분히 들여다보고 지배 시도가 진행 중인지를 알아야 합니다. 그 감시, 위성, 칩 추적, 훈련 실행에 대한 정보 수집이 초지능에 관한 조약 검증이 필요합니다. 이 논문은 그 의도와 달리, 조약에서 가장 어려운 부분이 이미 구축되고 있다는 주장을 담고 있습니다.

그래서 우리의 평가는 논문의 지지자나 가장 가혹한 비판자가 쓸 내용보다 좁습니다. MAIM은 설명으로서 가치가 있습니다. 교착 상태를 정확히 명명하고, 일방적 경쟁이 저항받을 것임을 확인하며, 국방 당국에 경쟁이 해결책이 아니라 위협이라고 말합니다. 그러나 목적지로서 실패합니다. 핵 보유국 사이의 영구적이고 정의되지 않은 은밀한 교착은 안정이 아니며, 실존적 위험의 실제 원천인 시스템 자체를 통제하지 못하기 때문입니다. 억제는 시간을 벌 뿐입니다. 검증된 국제 협정 지금이 바로 그때입니다.