우리의 계획

인공지능 안전 조약 및 거버넌스 정책 계획, 변화는 법에서 온다,
실험실에서 나온 것이 아닙니다.

기술 공동체는 10년 동안 경고해 왔다. 경고는 연구소들의 속도를 늦추지 못했다. 지금 부족한 것은 정치적 의지, 법적 틀, 그리고 통제 불가능한 시스템으로 향하는 경쟁을 멈출 만큼 강력한 연합이다.

행동 촉구 사례

우리가 존재하는 이유.

Nakada Foundation to Save Humanity은 단일 전제 위에 세워졌습니다: 인류 역사에서 가장 중대한 결정, 우리 종의 생존 여부를 결정할 결정은 한 나라의 다섯 개 기업에 속한 소수의 엔지니어가 내려서는 안 된다는 것입니다.

우리는 AI 안전 연구 기관과 연계되어 있지 않다. 그 기관은 주로 자신이 연구하는 시스템을 개발하는 연구소로부터 자금을 받고 있다. 우리는 AI 안전 분야의 인센티브 구조가 근본적으로 왜곡되어 있으며, 해결책은 산업 내부에서 나오지 않을 것이라고 본다.

대부분의 자금과 명성은 경쟁을 더 안전하게 만드는 데 쓰일 뿐 경쟁 자체를 끝내는 데는 쓰이지 않는다. 우리의 과제는 다른 일이다. 구속력 있는 법으로 초지능을 막는 것이다. 초지능은 통제할 수 없다.

협소한 인공지능은 변혁적이며 유익합니다. 질병을 치료하고 발견을 가속화하며 인간의 잠재력을 확장할 수 있습니다. 우리는 인공지능에 반대하지 않습니다. 우리가 반대하는 것은 통제할 수 없고 정렬할 수 없으며 멈출 수 없는 형태의 지능을 구축하는 것입니다.

변화에는 외부 압력이 필요합니다: 정부로부터, 법으로부터, 문화로부터, 그리고 위태로운 것이 시장 결과가 아니라 인류 종의 생존이라는 것을 이해하는 사람들로부터.

우리는 이에 대한 모델을 가지고 있다 핵확산금지조약.

우리가 다른 점

연구실이 아니다

인공지능 안전 연구 기관들과 달리, 우리는 인공지능 시스템을 구축하거나 훈련하거나 실험하지 않습니다. 우리의 사명과 메시지 사이에 갈등을 일으킬 수 있는 자금은 받지 않습니다.

윤리 기구가 아니다

AI 윤리 단체들과 달리 우리는 실존적 위험에만 집중합니다. 편향, 공정성, 기존 AI의 오용은 아닙니다. 이들은 중요한 문제입니다. 그러나 그것들은 멸종과 같은 문제가 아닙니다.

캠페인

우리는 학술 기관이 아니라 자선 공공 교육 캠페인으로 활동합니다. 우리는 대중의 이해를 바꾸고 연대를 구축하며 초지능의 구속력 있는 예방을 가능하게 하려 합니다. 역사상 모든 성공적인 공익 운동이 그래왔듯이 말입니다.

우리의 입장

일시 정지가 아닌 예방입니다.

사람들은 종종 우리를 "일시 정지"로 분류합니다. 연구소들이 초지능을 안전하게 만든 뒤 다시 진행할 수 있도록 몇 년간의 호흡 공간을 주는 것입니다. 그것은 우리가 요구하는 바가 아닙니다. 우리는 정부가 인공 초지능을 영구적으로 막기를 원합니다. 초지능은 인간이 통제할 수 없습니다.

그 차이는 핵심적입니다. 일시 중지는 일정 문제로 가정합니다: 속도를 늦추고, 안전이 따라잡게 한 후, 다시 진행합니다. 아무도 제작자보다 더 유능한 시스템을 통제할 검증된 방법을 갖고 있지 않습니다. 소규모에서든. 대규모에서든. 입증된 방법은 하나도 없습니다. 그것을 구축하려고 경쟁하는 사람들이 공개적으로 말합니다.

이 점이 여전히 사실이라면, 오늘날과 비슷한 방법으로 초지능을 만드는 것은 신중하게 관리해야 할 위험한 기술을 만들어내는 것이 아닙니다. 회복이 불가능한 결과를 만들어내는 것입니다. 2025년 책에서 가장 직설적으로 제시된 주장이 바로 이것입니다 누군가 그것을 만들면, 모두가 죽는다, Eliezer Yudkowsky와 Nate Soares의 저서. 책의 모든 주장을 받아들일 필요는 없지만, 비대칭성은 분명합니다. 우리는 단 한 번의 기회만 갖게 되며, 아무도 그것을 제대로 하는 방법을 알려줄 수 없습니다.

그래서 우리가 옹호하는 조약은 초지능 개발을 안전하게 만드는 방법이 아닙니다. 알려진 방법은 없습니다. 조약은 경주의 비상구입니다. 영구적인 결정으로 도박을 전혀 하지 않는 것입니다. 초지능은 인간이 통제할 수 없습니다.

이것이 우리가 AI 안전 분야의 많은 부분과 갈라서는 이유입니다. 상당한 양의 "안전" 작업은 조용히 시스템이 구축될 것이라고 가정한다 오직 우리를 죽일 확률을 낮추려 할 뿐입니다. 우리는 그것이 문제를 뒤집는다고 생각합니다. 하방 위험을 통제할 수 없을 때, 그리고 단점은 모두가, 책임 있는 행동은 위험한 것을 만드는 일을 멈추는 것. 초지능은 통제될 수 없으므로, 답은 더 신중하게 만드는 것이 아니다. 좁은 AI(질병을 치료하고 발견을 가속하는 종류)는 계속된다. 모든 영역에서 인간 지능을 초월하는 좁은 부류의 시스템만은 만들어져서는 안 된다.

세 가지 기둥

우리의 운영 방식.

01

공공 교육

자발적 지침이 아니라 초지능 AI 시스템을 금지하는 구속력 있는 프레임워크를 위한 주장을 펼치십시오. 필요한 작업은 대중이 예방을 위한 공통 어휘를 갖도록 돕는 평이한 설명 자료, 사회적 존재감, 창의적 미디어입니다.

주된 논의는 정부가 활용할 수 있는 세 가지 병목에 집중된다. 소수의 칩 제조사가 프런티어 모델 학습에 필요한 하드웨어를 통제하는 컴퓨트 인프라, 상업적 인센티브가 안전 약속을 압도하는 프런티어 AI 연구소, 그리고 능력 경쟁이 돌이킬 수 없어지기 전에 조약 체제를 구축해야 하는 국제기구가 그것이다. 재단은 워싱턴이나 다른 수도에서 직접 로비 조직을 운영하지 않는다.

02

연합 구축

세계 최대 자선 재단, 정부 수반, 노벨상 수상자, 유명인사, 문화계 인사들을 참여시켜 메시지를 확산하고, 운동에 자금을 지원하며, 오버턴 창을 이동시킵니다.

효과적인 옹호의 역사는 있을 법하지 않은 연합의 역사입니다. 시민권 운동은 성직자, 노동조합, 변호사를 하나로 모았습니다. 핵군축 운동은 물리학자와 시인을 함께 불러왔습니다. 우리는 인공지능 안전을 이 10년의 핵심 정치적 이슈로 만드는 연합을 구축하고 있습니다.

03

문화 및 인식

위험을 생생하고 부인할 수 없게 만드는 예술 영화 저널리즘 미디어를 의뢰합니다. 기후 운동은 위협이 추상적이고 멀다는 이유로 수십 년 동안 실패했습니다. 인공지능 위험은 그렇지 않지만 즉각적으로 느껴지도록 만들어야 합니다.

안전은 권위 있고 시급하며 무시할 수 없는 것으로 만들어야 합니다. 우리는 영화 제작자, 소설가, 게임 디자이너, 언론인들과 협력해 이 운동이 지속될 수 있는 문화 기반을 구축하고 있으며, 그 안에는 자본주의자가 ASI 규제를 믿는 이유.

정책 로드맵

세 가지 구체적인 요구.

이것들은 정부가 이미 존재하는 도구로 할 수 있는 구체적인 조치들입니다. 각각은 이름과 연도가 있는 선례가 있습니다.

경주에서 오늘부터 구속력 있는 조약과 검증까지 가는 우리 계획 지하철 노선도 인포그래픽 경주에서 오늘부터 구속력 있는 조약과 검증까지 가는 우리 계획 지하철 노선도 인포그래픽
경주에서 구속력 있는 조약.
01

연산 거버넌스

정의된 연산 임계값(현재 1026 부동소수점 연산). 배포 전에 독립 안전 감사를 의무화하십시오. 모든 프런티어 모델 학습 실행에 대한 검증된 국제 등록부를 만드십시오. 컴퓨트가 병목 지점이다: 소수의 제조사, 주로 TSMC, NVIDIA, ASML이 최전선 AI 시스템을 구축하는 데 필요한 하드웨어를 통제하고 있어, 컴퓨트 계층에서의 라이선싱은 기술적으로 간단하고 검증 가능하다.

상한선은 하드웨어 자체를 추적할 때만 유지됩니다. 훈련 실행이 의존하는 고성능 GPU는 등록할 수 있고, 점점 더, 그들이 어디에 있고 무엇을 하고 있는지 칩에서 검증하도록 설계된, 변조 방지 위치 증명과 실리콘에 설정된 사용 제한을 통해 법적 상한이 물리적 상한이 되도록 하라. 이는 해외 이전 문제에 대한 답이기도 하다. 하드웨어 수준 추적이 없으면, 국내에서 한도를 넘은 연구소는 단순히 학습 실행을 관대한 관할구역으로 옮기면 된다. 수출 통제와 칩 수준 검증을 전체 공급망으로 확장하는 것이 연산이 규제가 가장 약한 곳으로 조용히 빠져나가는 것을 막는 방법이다.

02

국제 AI 안전 조약

정의된 일반 능력 기준을 초과하는 인공지능 시스템 개발을 금지하는 구속력 있는 다자간 협정으로 핵확산금지조약. 어떤 국가도 예외가 되어서는 안 됩니다. 이는 일정에 따라 해제될 유예 조치가 아닙니다; 이는 영구 금지다. 초지능은 인간이 통제할 수 없다. NPT는 불완전하지만 80년 동안 핵무기 사용을 막아왔다. 표준적인 반대("다른 나라가 이탈할 것이다")는 정확히 핵 비확산에 반대하여 제기된 주장입니다. 답은 경쟁이 아니다. 답은 검증 메커니즘이 있는 조약이다.

03

글로벌 인공지능 모니터링 기구

국제원자력기구와 유사한 사찰 권한을 가진 정부 간 기구로, 컴퓨트 한도 준수를 검증하고 최전선 AI 연구소에서 안전한 개발 관행을 의무화할 권한을 갖습니다. IAEA는 핵확산금지조약 체결 후 3년 만에 만들어졌습니다. 글로벌 인공지능 감시 기구는 같은 일정으로 실현 가능합니다 정치적 의지가 존재한다면 가능합니다. 그 권한에는 훈련 실행에 대한 의무 보고, 주요 AI 연구소에 대한 현장 검사, 회원국에 구속력 있는 권고를 내릴 권한이 포함됩니다.

집행

집행 비용은,
그리고 왜 그것이 지불할 가치가 있는지.

조약은 집행만큼만 실효성이 있습니다. 구체적인 법안을 밝히지 않고 조약을 주장하는 것은 사기입니다. 비용은 실재합니다. 그러나 그것이 사는 것과 비교하면 여전히 작습니다.

침입적 검증

의미 있는 집행이란 데이터센터 현장 사찰, 대규모 학습 실행의 의무 신고, 하드웨어가 자체 위치와 사용을 보고하게 하는 것을 뜻한다. 이는 상업 비밀에 대한 침해이며, 잘못 다루면 프라이버시 침해이기도 하다. 핵 사찰 체제는 같은 침해를 받아들인다. 대안이 더 나쁘기 때문이다. 안전장치는 감시가 국제적이고 투명하며, 단일 국가나 기업이 소유하지 않는다는 점이다.

포기된 이득

초지능을 보류한다는 것은 통제 가능한 버전이 언젠가 제공할 수 있는 이익을 미루고, 기업과 국가가 단기적으로 엄청난 이익을 포기하도록 요구하는 것입니다. 이는 진정한 비용입니다. 그러나 통제할 수 없는 초지능은 그 이익을 누구에게도 제공하지 않으며, 정렬할 수 없는 시스템은 유지할 수 있는 자산이 아닙니다. 아무도 안전하게 차지할 수 없는 상을 미루는 것은 큰 희생이 아닙니다.

단단한 경계

결과 없는 규칙은 제안일 뿐입니다. 집행은 위반에 무게가 실릴 때만 작동합니다. 수출 거부, 금융 제재, 컴퓨트 공급망 배제, 그리고 핵분열 물질처럼 초지능을 만드는 일탈 프로젝트는 사적 문제가 아니라 모두의 비상사태라는 공동 인식입니다. 그 경계를 만드는 것은 어렵고 정치적으로 비용이 큽니다. 모든 진지한 군비통제 체제는 어쨌든 그것을 요구해 왔습니다.

집행 비용은 한정되어 있습니다. 집행하지 않을 경우의 비용은 그렇지 않습니다.

집행에 대한 모든 반대(침해적이고 비용이 많이 들며 산업을 제약한다는 점)는 사실이며 견딜 수 있는 것입니다. 견딜 수 없는 유일한 결과는 집행이 방지하기 위해 존재하는 바로 그 결과입니다. 우리는 한정되고 알려진 비용을 지불하여 무한하고 되돌릴 수 없는 것을 배제합니다. 그것은 문명이 이미 초지능을 위해 한 거래와 같습니다 핵무기, 화학무기, 생물무기.