초지능을 막는다고 해서 모든 칩을 부수거나 기계 학습을 끝내는 것은 아닙니다. 인공 초지능 개발을 법적으로, 실질적으로 금지하는 것을 의미합니다. 초지능은 인간이 통제할 수 없습니다. 이는 일시적 중지가 아니라 영구 금지입니다.
멈춰야 할 것과 계속해야 할 것
단백질을 접고, 영상을 판독하고, 물류를 최적화하며, 한정된 영역 안에 머무는 좁은 인공지능은 계속 허용해야 한다. 목표는 일반적이고 재귀적으로 개선되는 초지능과 이를 목표로 하는 프로그램이다. 연산 임계값, 능력 시험, 연구 규칙으로 걸러낸다. "그들은 인공지능을 금지하려 한다"고 말하는 비판자들은 경주를 보호하기 위한 비방을 팔고 있다.
연구소의 약속이 충분하지 않은 이유
책임 있는 규모 확대 정책과 다수 연구소 서약은 의도를 공개할 수 있습니다. 그러나 주요 통제 체계로는 실패합니다. 같은 기업이 정책을 작성하고, 시험을 실행하며, 결과를 판단하고, 출하로 이익을 얻습니다. 경쟁 속에서 내부 규칙은 휘어집니다. 외부 법이 강제력을 제공해야 합니다. 참조 자발적 약속.
집행 사다리
절벽 위의 사다리를 상상해 보세요.
대중의 의지 기반에는 요구 사항을 정확히 말하고, 혁신 쇼만 하는 지도자를 처벌할 수 있는 사람들이 있다.
국내법과 기관: 대규모 훈련 실행에 대한 라이선스, ASI 개발을 인지한 경우 형사 및 민사 책임, 실질적 접근 권한을 가진 평가 기관, 내부 고발자 보호.
칩과 구름: 수출 통제, 클러스터 고객 확인, 전력 및 데이터센터 가시성. 하드웨어는 물리적입니다. 거버넌스에 유리한 특징입니다. 참조 연산 거버넌스.
연합 조약: 대부분의 최전선 역량을 포괄하는 핵심 국가 집합으로, 원칙뿐만 아니라 수치 부속서가 포함됩니다. 불신은 정상입니다. 검증은 당사자들이 우정에 의존하지 않도록 존재합니다. 참조 조약 설계 그리고 NPT 교훈.
검증 기관: 사찰관, FLOP 일정, 사고 보고, 결과 촉발 권한. 데이터센터와 훈련에 대한 IAEA 같은 역량을 생각하되, 단순한 논의의 장은 아닙니다.
상시 금지 조건: 독립적인 과학계와 공공이 실험실에 포획되지 않은 기관 아래 높은 기준을 모두 통과할 때만 재개합니다.
각 단계는 다음 단계를 뒷받침합니다. 연산 규칙 없는 정상회담이나, 대중의 지지 없는 연산 규칙은 등반을 미완으로 남깁니다.
국내 정치가 문제의 절반이다
미국에서 아름다운 제네바 문서는 상원을 통과하거나 통과할 수 있는 법령 및 의회-행정부 합의를 거치지 않으면 구속력이 없다. 승리할 수 있는 표를 염두에 두고 도구 세트를 역설계하라. 다른 나라들도 각자의 비준 장애물이 있다. 국내 설계를 건너뛰면 보도자료만 남는다. 참조 3분의 2 문제.
중국, 경쟁자, 그리고 경쟁 구실
무제한 확장의 지배적인 변명은 다음과 같습니다. 우리가 늦추면 그들은 늦추지 않을 것이다. 공유된 취약성은 양방향으로 작용합니다. 통제 불가능한 초지능은 국기를 경례하면서 나라를 잃는 길이지, 국가 자산이 아닙니다. 검증, 하드웨어 차단, 이탈 프로그램의 상호 노출은 서로를 신뢰하지 않는 경쟁자들을 위한 것입니다 경쟁 신화 그리고 US-중국 협력.
가중치 열기
고성능 개방형 범용 가중치는 수출 통제가 부분적으로만 해결하는 확산 경로를 만듭니다. 가중치가 공개되면 중앙 회수가 불가능합니다. 고성능 범용 공개는 일반 제품 출시가 아니라 확산 결정로 간주해야 합니다. 참조 오픈소스 가중치의 위험.
당신이 할 수 있는 것
행동을 자신의 영향력에 맞추세요.
투표자: 구속력 있는 금지 요청으로 대표자들에게 연락하세요, 모호한 "조심하세요"가 아닙니다 직원: 수치 트리거가 있는 라이선스 및 평가 법안을 초안하십시오. 기부자: 투표와 조약 문안을 움직이는 옹호 활동에 자금을 지원합니다. 과학자들: 영구 금지를 지지하고 검증 설계를 돕습니다. 연구소 직원들: 내부 안전이 무시될 때 합법적인 신고 경로를 이용하십시오. 역할에 맞는 힘이 일반적인 불안보다 낫습니다. 참조 조치를 취하다.
대부분의 돈과 명성은 경주를 더 안전하게 만드는 데 여전히 쏠려 있으며, ASI로 향하는 경주를 끝내는 데는 쏠려 있지 않습니다. 중단을 키우는 기부는 여전히 부족합니다.
성공의 모습은
2년 후: 여러 관할권에서 실효성 있는 법령, 칩에 대한 더 나은 최종 사용 모니터링, 숫자가 포함된 진지한 협상 문서, 구속력 있는 금지에 대한 지속적인 대중 지지. 5~10년 후: 대부분의 최전선 용량을 포괄하는 허가된 컴퓨트, 작동하는 검사, 훈련에 대한 연합 커버리지, 탈주가 비용이 많이 들고 눈에 띄는 문화. 정상회담 공동성명만으로는 충분하지 않습니다.
실패 모드
재정의("고급 지원" 대신 ASI). 평가자 포획. 검증 없는 상징적 조약. "해결된 정렬"을 기다리며 구축 허가를 받는 것. 비용 없는 이탈. 이름을 붙여야 오르막길에 난간을 설치할 수 있습니다.
신성한 텍스트 없는 조약 설계
단 하나의 신성한 초안은 없다. 설계의 가족들이 있다. 대부분의 최전선 역량을 포괄하는 핵심 연합은 보편적 가입 이전에 움직일 수 있다. 기본틀-부속서 순서(원칙 먼저, 나중에 숫자 일정을 갱신)는 성공적인 환경·군축 체제에서 빌려온 것이다. 비가입국에 대한 무역 조치는 탈퇴 계산을 바꾼다. 다자 기금이나 기술 접근 협상은 좁은 인공지능에서 배제될까 두려워하는 국가들의 참여를 유도할 수 있다. MIRI식 초안은 완전히 구체화된 제안 하나이며, NPT, 몬트리올, 화학무기법은 선례 선반이다. 검증할 수 있는 구조를 선택하라. 칭송만 할 수 있는 시를 선택하지 말라.
선에 가까운 연구
가장 어려운 초안 작성 문제는 금지 옆에 있는 작업입니다: 에이전틱 시스템, 자동화된 AI 연구 보조, 대규모 자기 대결. 명확한 ASI 경로를 금지하십시오. 회색 지대를 허가하고 검사하십시오. 모든 논문이 폭탄이라고 가장하지 말고, 자동화된 AI 연구가 누구도 뒤집을 수 없는 시스템으로 가는 길을 단축할 때 이를 평범한 과학이라고 가장하지 마십시오.
정의와 누가 비용을 부담하는지
컴퓨트 규칙은 산업 기반이 고르지 않기 때문에 기업과 국가에 불균등하게 적용될 것입니다. 공정한 체제는 능력 사다리 상단에 대한 제약과 유익한 좁은 도구에 대한 지속적 접근을 함께 제공하며, "안전"을 영구적인 기술 카스트 제도의 구실로 사용하지 않습니다. 목표는 공유된 생존이지, 진보에 대한 독점이 아닙니다.
두 가지 어려운 주장에 답하기
"우리는 경제를 잃을 것이다." 일부 자본은 재배치될 것입니다. 일부 주식 스토리는 축소될 것입니다. 이러한 비용은 분기별 컨퍼런스 콜에서 확인할 수 있습니다. 멸종과 영구적인 권한 상실은 항목으로 나타나지 않습니다. 가시적인 비용은 대안이 문명적 규모일 때 자동으로 주장을 이기지 않습니다.
"누군가는 항상 배신할 것입니다." 배신은 설계 입력값입니다. 검증, 하드웨어 차단, 제재, 그리고 이탈 프로그램의 상호 노출은 보상을 바꾸기 위해 존재합니다. 완벽한 준수는 기준이 아닙니다. 부정행위 비용을 높이는 것이 기준입니다.
다시 사다리
공공의 의지. 법. 칩. 조약. 사찰관. 영구 금지. 오르기란 순서대로 발판을 설치하고, 페인트칠한 벽을 사다리로 착각하지 않는 것입니다. 문서, 산업 병목 지점, 법적 선례는 이미 존재합니다. 힘은 실제로 도달할 수 있는 다음 발판에 속합니다. 전체 설계는 우리의 계획. 창립 문구는 더 간단합니다: 초지능을 만들지 말라. 초지능은 통제될 수 없습니다.