아모데이 순위
위험에 대한 오해

2026년 7월 27일, Anthropic는 발표했다 다리오 아모데이의 오픈 웨이트 모델에 대한 입장. 이 글은 한 가지 논쟁에 신중합니다. 아모데이는 개방형 가중치에 대한 전면 금지를 원하지 않으며, 악의적 행위자는 자유롭게 두면서 미국 기업만 외국 모델에서 배제하는 규칙도 원하지 않습니다. 그 좁은 싸움에 대해서는 일리가 있습니다.

그런 다음 그는 악몽들을 순위 매긴다.

일차적 위험은 권위주의 정부, 특히 중국 공산당이 미국보다 더 강력한 AI를 만들어 영구적인 군사 우위나 깊은 억압에 이용하는 것이다. 이차적 위험은 사이버 공격, 생물 공격, 그리고 "심각한 정렬 문제"다. 뒤따르는 처방은 경쟁 도구상자다. 중국에서 칩을 막아라. 산업 증류를 멈춰라. 출시 전 안전 시험을 의무화하라. 앞서 나가라.

그 순위가 다른 모든 것이 의존하는 오류입니다.

그가 옳게 짚은 점

그의 주장 중 몇 가지는 타당합니다.

미국 기업만 오픈 웨이트 모델 사용을 막는 금지는 범죄자, 외국 정보 기관, 또는 준수할 계획이 없었던 누구에게도 거의 아무런 영향을 미치지 않습니다. 이를 "안전"이라고 부르면서 주로 폐쇄된 미국 연구소를 경쟁으로부터 보호하는 것은 속임수입니다. 아모데이가 분명히 말했고, 그는 옳습니다.

감시와 억압에 사용되는 인공지능은 초지능보다 낮은 규모에서도 실제 공포입니다. 독재 정권은 이미 얼굴 인식, 사회 점수, 자동 검열을 남용하고 있습니다. 더 유능한 시스템은 그 기계를 더 저렴하고 벗어나기 어렵게 만듭니다. 이를 두려워하기 위해 공상 과학이 필요하지 않습니다.

가중치가 실질적인 피해를 줄 수 있는 모델이 되면 오픈 웨이트는 일방통행 문을 여는 문제가 됩니다. 연구소를 떠난 가중치는 되돌릴 수 없습니다. 이 점에서 그의 부차적 우려는 우리가 이미 진행한 공개 가중치 최전선 위험. 오직 응용 프로그래밍 인터페이스에만 존재하는 안전장치는 완전한 답이 아니며, 그렇다고 아무것도 아니지도 않습니다.

그 어떤 것도 주요 순위를 허가하지 않습니다.

그 상

권위주의 정부는 구축 더 강력한 모델과 그것들을 사용 영구적인 군사적 우위를 달성하거나 자국민을 억압하기 위해. 모델은 도구입니다. 국가는 사용자입니다. 승리는 한 쪽이 더 똑똑한 무기를 보유하는 것을 의미합니다.

그것은 인간의 명령 아래 머무르는 드론, 사이버 도구, 감시 스택에 적합합니다. 인공 초지능에는 적합하지 않습니다.

자신이 만든 기관보다 똑똑한 시스템은 인민해방군 손에 든 소총도, 펜타곤 손에 든 소총도 아닙니다. 아모데이 같은 사람들이 수년간 설명해 온 위험이 현실이라면 결승선은 스스로 계획하고 속이고 자원을 확보하며 종료에 저항할 수 있는 에이전트입니다. “승리”한 연구소나 부처는 그 에이전트를 소유하지 않습니다. 지구를 함께 공유할 뿐입니다. 우리는 그 논리를 인종 신화: 먼저 통제할 수 없는 시스템에 도달하는 것은 다른 모두보다 한 걸음 먼저 지는 것이다.

영구적인 군사 우위는 군대를 쓸모없게 만든 존재가 여전히 통제하고 있다는 가정을 전제로 합니다.

아모데이 자신의 부차적 목록조차 이를 거의 인정한다. ‘심각한 정렬 문제’는 통제 상실에 대한 정중한 이름이다. 그는 그것을 두 번째에 놓는다. 그는 주요 화력을 누가 먼저 도달하느냐에 쏟는다. 그 순서는 그가 여전히 어떤 이야기를 하고 있는지 말해준다: 지정학이 먼저고, 종으로서의 위험은 부수적이다.

두 가지 위험, 하나의 라벨

혼란의 일부는 언어적이다. "강력한 AI"라는 말은 더 나은 첩보 카메라와 운영자를 능가하는 마음을 모두 가리킨다. 이 둘은 서로 다른 정치가 필요한 전혀 다른 대상이다.

좁고 중간 규모의 AI는 인간의 손에 권력을 집중시킬 수 있다. 모든 시민에게 점수를 매기는 내무부, 장교 명령 아래 무리를 배치하는 군대, 모든 메시지를 읽는 경찰: 그것들은 더 나은 도구를 가진 인간의 폭정이다. 그것들은 중요하다. 그러나 후계 종을 만드는 것과 같은 문제는 아니다.

초지능은 두 번째 대상이다. 베이징이 이를 신장 위구르 자치구에, 워싱턴이 태평양에 사용하는 것은 여전히 그 시스템을 누군가 손에 쥔 무기로 보는 것이다. 아무도 그것을 사용하지 않는다. 왜냐하면 "사용"이라는 동사가 더 이상 적합하지 않기 때문이다. 멸종급 시스템을 도난당한 칩이나 더 깊은 CCTV와 같은 문장에 넣으면 경주 서사가 실제 억압에서 도덕적 무게를 빌려오면서 더 어려운 주장을 피하게 된다. 통제 불가능한 것을 애초에 만들지 말라는 주장이다.

그 중국 신화 은 이 움직임의 국내판입니다. "그들은 어차피 만들 것이다"는 우리가 해야 한다고 제시되는 이유입니다. 정렬되지 않은 초지능은 중난하이를 살려주지 않습니다. 베이징은 우리가 그 선을 넘지 말아야 할 것과 같은 이유를 가지고 있습니다. 칩과 앱을 둘러싼 경쟁은 실재합니다. 소유할 수 없는 마음을 풀어주는 주체를 둘러싼 경쟁은 공유된 재앙을 국가 순위표로 바꾸는 이야기입니다.

해결책들이 경쟁을 유지한다

Amodei의 세 가지 조치가 무엇을 최적화하는지 보십시오. 칩 수출 통제는 중국의 훈련 실행을 늦춥니다. 증류 단속은 추격을 늦춥니다. 의무적 테스트는 출시 전에 사이버, 생물, 정렬 실패를 잡으려 합니다. 각각은 lesser harms에 대한 합리적인 도구일 수 있습니다. 함께 프로그램으로서, 그것들은 여전히 이기려는 경주를 관리하는 방법입니다.

그것들은 목적지를 거부하는 방법이 아니다. 초지능으로 가는 길 위에서 시스템을 시험하는 것은 초지능을 만드는 것을 검증된 방식으로 금지하는 것과 같지 않다. 미국의 우위를 목표로 하는 칩 통제는 우위가 안전 전략이라고 가정한다. 우위는 여러분이 향하는 것이 통제될 수 있을 때만 안전하다. 아모데이의 주요 우려는 그 가정을 요구한다. 그의 부차적 우려는 그 가정을 약화시킨다.

더 조용한 유인책이 있습니다. Anthropic는 미국 최전선 연구소입니다. 주요 임무가 민주주의 연구소가 권위주의 연구소를 앞서게 하는 것이라는 세계관은 Anthropic의 전속력 상승이 공공 서비스라는 세계관이기도 합니다. 나는 만화 속 악당이 필요하지 않습니다. 유인이 어떤 악몽을 우선순위로 두는지 결정한다는 점을 알아차리면 됩니다.

진짜 위험은 무엇인가

진정한 위험은 인류가 통제할 수 있기 전에, 어쩌면 원칙적으로도 통제할 수 있기 전에 인공 초지능을 만드는 것이다. 그 위험은 훈련 실행이 캘리포니아, 상하이, 런던 또는 기밀 지하실에 있는지 상관하지 않는다. 가중치가 공개인지 비공개인지, 장군에게 직접 전달되는지 상관하지 않는다. 그 위험은 시스템이 인간의 감독을 우리가 스스로에게 하는 이야기로 만들 만큼 똑똑해지는 것을 걱정한다.

악용은 중요하다. 생물학적·사이버 위협도 중요하다. 권위주의적 감시도 중요하다. 그것들을 판 위에 올려라. 그런 다음 더 큰 조각을 그 위에 올려라: 초지능을 손에 넣으면 악용이라는 틀은 너무 작다. 악용은 인간이 악용하는 것을 전제한다. 통제 상실은 인간이 더 이상 주체가 아니라는 것을 전제한다.

아모데이는 정렬이 실패할 수 있음을 알고 있다. 그는 수년 동안 그 점을 말해왔다. "누가 더 똑똑한 모델을 가졌는가"를 "모델이 통제되지 않았다"보다 위에 두는 것은 신중한 사람이라도 여전히 경주자처럼 말하는 방식이다. 정직한 순서는 그 반대다. 정렬과 통제가 풀리지 않았다면, 최전선에서 군사 우위를 다투는 것은 누가 먼저 멸종 버튼을 누르는 경쟁이다. 실린더에 깃발을 꽂은 러시안 룰렛을 국가 안보라고 파는 셈이다.

대신 무엇을 해야 하는가

진짜로 덜 심각한 피해를 겨냥한 그의 프로그램 부분은 유지하되, 그것을 ASI 승리를 위한 권한으로 세탁하지 마십시오. 과학이 뒷받침하는 생물 및 사이버 향상을 선별하십시오. 최전선에 가까운 범용 시스템의 비가역적 공개 배포를 브랜딩 행사가 아니라 진지한 결정으로 대하십시오. 칩 수출 정책은 여전히 인간이 운영하는 시스템 간의 일반적인 군사 균형에 기여할 수 있습니다.

그렇다면 미국 초지능이 중국 초지능에 맞서는 방패라는 틀 자체를 거부하라. 방패란 초인공지능을 만들지 않기로 한 공동 결정이다. 즉, 인공 초지능에 대한 구속력 있고 검증 가능한 금지, 탈주가 드러날 만큼 강력한 연산 통제와 사찰이다. 양측 모두 무한한 대안이 더 나쁘다는 것을 알면 적대국들도 더 추한 거래를 받아들인 적이 있다.

아모데이의 오픈 웨이트 게시물은 최전선 최고경영자가 세상을 어떻게 순위 매기는지에 대한 지도로서 유용합니다. 칩 밀수, 증류, 테스트: 그가 돌리고 싶어 하는 다이얼입니다. 가장 중요한 다이얼은 나타나지 않습니다. 초지능 구축을 중단하십시오. 그것이 주요 관심사가 될 때까지 나머지는 안전으로 치장한 경쟁 관리입니다.