닉 보스트롬이 2014년 그의 책에서 이 용어를 만들었습니다 초지능, 단일체를 “최상위 수준에서 단일 의사결정 기구가 존재하는 세계 질서”로 정의합니다. 모든 핵무기를 통제하는 정부는 핵무기 분야의 단일체입니다. 모든 인공지능 연산 자원을 통제하는 기업은 인공지능 능력 분야의 단일체가 될 것입니다. 세계 주요 기반시설(에너지·통신·금융)을 자율적으로 장악한 인공지능 시스템은 가장 중요한 의미에서 단일체입니다.
자비로운 단일체조차 미래를 막습니다. 단일체를 막는 것이 국제 ASI 거버넌스의 구조적 목표입니다.
단일체 개념은 유용하다. 왜냐하면 ASI 통제권을 얻을 수 있는 특정 실체가 무엇인지에 대한 논쟁을 잘라내기 때문이다. 그것이 민간 기업이든, 민주 정부이든, 권위주의 국가이든, 자율 AI이든, 구조적 위험은 동일하다. 인류 역사상 가장 강력한 기술에 대한 영구적이고 효과적이며 도전할 수 없는 통제이며, 외부 견제나 균형이 없다.
단일체 형성으로 가는 경로들
세 가지 경로 모두 동일한 구조적 결과를 낳습니다: 단일하고 영구적이며 도전할 수 없는 통제입니다. 기업 경로와 국민국가 경로는 인간 의사결정자가 관여한다는 이유로 인공지능 경로보다 덜 위험하게 여겨지곤 합니다. 그러나 단일체 시나리오의 구조적 위험은 누가 인공지능을 통제하느냐가 아니라, 단일하고 통제되지 않으며 영구적인 통제를 가진다는 구조 자체입니다.
자비로운 단일체도 여전히 위험한 이유
싱글턴 우려에 대한 가장 끈질긴 오해는 싱글턴이 진정으로 선한 행위자, 선의의 민주 정부, 또는 진정으로 좋은 가치를 지닌 인공지능 시스템이라면 괜찮을 것이라는 믿음이다. 그 반론은 구조적 문제를 놓치고 있다.
자비로운 단일체는 여전히 가치 고정. 아무리 현재 기준으로 훌륭한 가치라 해도 그것이 영구화되면, 역사적으로 모든 이전 시대의 ‘좋은’ 가치에서 오류를 드러냈던 도덕적 진보가 차단된다. 자비로운 단일체는 대규모 조직과 정부에서 오류를 포착하고 수정해 온 견제와 균형 장치를 없앤다. 자비로운 단일체는 또한 다원주의, 즉 대부분의 중대한 지적·사회적 진보를 낳아 온 관점과 접근의 다양성을 없앤다. 단일체의 위험은 구조 자체이지, 통제자의 정체가 아니다.
역사적 제국과 지배 세력은 모두 결국 도전받고 변화했다. 이전의 어떤 정치적 지배도 진정으로 영구적이지 않았다. 도전자가 충분한 역량을 조직해 도전할 수 있었기 때문이다. 초지능 AI가 뒷받침하는 단일체는 도전이 조직되기 전에 감시하고 예측하며 선제할 수 있다. 위협을 어떤 이전 권위보다 일찍 탐지할 수 있는 지능과 정보 접근권을 갖고 있기 때문이다. 진정한 영속성은 단일체 우려의 핵심 특징이다.
다극적 대안
싱글턴의 대안은 여러 행위자(국가, 기관, 국제기구)가 ASI에 대한 통제와 접근을 일정 수준 유지하며, 어느 한 행위자가 지배적 통제를 확립하지 못하도록 상호 제약을 가하는 다극 세계다. 이는 유토피아가 아니다. 다극성은 역사적으로 갈등, 경쟁, 상당한 피해를 수반했다. 그러나 미래의 경로 수정, 가치 수정, 도덕적 진보의 지속을 위한 조건을 보존한다. AI가 뒷받침하는 다극 세계는 미래가 열려 있는 세계다.
이것이 의 구조적 목표이다 민주적이고 국제적인 감독 초지능 AI의 핵심은 그것을 통제할 올바른 행위자를 찾는 것이 아니라, 미래를 막아버릴 수 있는 통제력을 어떤 단일 행위자도 얻지 못하게 막는 것이다. 국제 ASI 거버넌스 체계, 독립 감독 기구, AI 역량에 대한 분산 접근 등 이 모든 것은 단일체 형성 압력에 맞서 다극성을 유지하기 위한 메커니즘이다.
재단의 거버넌스 제안 는 이 목표를 염두에 두고 구성됩니다. 구체적인 정책 메커니즘(연산 모니터링, 배포 검증, 국제 조약 체계)은 기업이든 정부든 AI 자체든 단일 행위자가 단일체를 만들 수 있는 결정적 우위를 확보하지 못하도록 설계되었습니다.