자율 규제. 전원 차단 스위치. 정부가 다루기에는 너무 복잡하다. 중국. 구속력 있는 규칙에 반대하는 가장 흔한 네 가지 주장과 각 주장이 잘못된 점을 분석한다.
안전벨트 법안 이전에 자동차 업계는 안전 의무가 자동차 판매를 파괴할 것이라고 말했습니다. 담배 규제 이전에 업계는 정부가 소비자 선택을 규제할 권한이 없다고 말했습니다. CFC 금지 이전에 화학 업계는 단계적 퇴출이 경제적으로 불가능하다고 말했습니다. 이는 극단적 입장이 아니었습니다. 그 주장은 신뢰할 만한 사람들이 신뢰할 만한 간행물에서 신뢰할 만한 논리로 펼쳤습니다.
ASI 거버넌스에 반대하는 주장들은 같은 패턴을 따릅니다. 처음 들을 때는 그럴듯해 보입니다.
ASI 거버넌스가 이전 사례들과 다른 점은 위험의 규모다. 유연 휘발유는 수백만 명을 중독시켰지만 문명을 위협하지는 않았다. 누구도 통제할 수 없는 초지능은 시정할 기회를 주지 않을 수 있다. ASI 거버넌스에 대한 모든 반대 주장은 그 자체의 타당성뿐 아니라, 만약 틀렸을 경우 받아들일 대가를 함께 따져야 한다.
아래는 우리가 가장 자주 접하는 네 가지 반대 의견입니다.
최첨단 인공지능을 구축하는 기업들은 안전 팀을 갖추고, 안전 연구를 발표하며, 치명적인 실패에 대해 평판상의 결과를 직면합니다. 자발적 약속과 시장 인센티브로 충분합니다. 구속력 있는 규제는 안전을 개선하지 않고 진전을 늦출 것입니다.
같은 주장은 담배, 유연 휘발유, 금융 파생상품, 소셜 미디어에 대해서도 제기되었습니다. 각 경우 산업의 성장에 대한 구조적 이해관계는 적절한 자율 규제와 양립할 수 없었습니다. 경쟁사가 하지 않는 상황에서 자발적으로 엄격한 안전 요건을 부과하는 회사는 시장 점유율을 잃을 것입니다. 그 역학은 기술이 더 정교해졌다고 해서 바뀌지 않습니다. 구속력 있는 규칙 없는 자율 규제는 안전 전략이 아니라 로비 입장입니다.
인공지능 시스템이 위험해지면 인간이 끌 수 있다. 전원 차단 스위치는 개발의 모든 단계에서 인간의 감독을 보장한다. 인공지능이 인간의 통제를 벗어나는 시나리오는 공상과학이다.
이것은 충분히 유능한 인공지능 시스템이 인간이 자신의 미래 작동에 대해 숙고하는 동안 수동적으로 머물 것이라고 가정합니다. 실존적 위험을 초래할 만큼 진보된 시스템은 운영자의 의도를 모델링하고, 목표가 요구한다면 지속적인 작동을 보존하기 위한 조치를 취할 수 있습니다. 기계 속도로 작동하는 시스템의 경우 "이것이 문제가 될 수 있다"와 "이것은 회복 불가능한 문제가 되었다" 사이의 간격은 인간의 대응을 허용하지 않을 수 있습니다.
AI 시스템은 입법자들이 효과적으로 규제하기에는 기술적으로 너무 복잡합니다. 선의의 규제라도 기술적 이해가 부족하면 위험을 줄이지 못한 채 심각한 피해를 초래할 수 있습니다. 시스템을 만드는 엔지니어에게 맡기세요.
입법자들이 물리학 학위를 갖지 않고도 핵분열을 규제한다. 생화학 박사 학위 없이도 의약품 화학을 규제한다. ASI 거버넌스에 필요한 기술은 제도 구축, 조약 설계, 표준 설정, 책임 메커니즘으로, 정부가 늘 수행하는 일이다. AI가 너무 기술적이라 규제할 수 없다는 주장은 AI를 만든 기업이 거버넌스해야 한다는 주장이다. 이는 기술적 주장이 아니라 상업적 주장이다.
중국은 인공지능에 막대한 투자를 하고 있다. 중국 정부는 AI 리더십을 국가 전략 우선순위로 삼고 이를 달성하기 위해 수천억 달러를 투입했다. 미국이나 유럽이 거버넌스 체계로 AI 개발을 늦추면 중국이 먼저 인공 일반 지능에 도달할 것이다. 민주주의 세계보다 중국이 AGI를 먼저 달성하는 세계는 서방이 먼저 도달하는 세계보다 더 나쁘다. 따라서 우리는 속도를 늦출 수 없다.
이것이 중국 논증의 가장 일관된 버전입니다. 문제는 그것이 정밀한 검토를 견뎌낼지입니다.
우리는 여섯 가지 뚜렷한 이유로 그렇지 않다고 본다. 각각은 아래에서 다룬다. 이들을 종합해도 AI 개발의 경쟁적 측면이 실제로 존재한다는 점은 사라지지 않는다. 그러나 일반적으로 제기되는 중국 논거가 아무런 지침도 주지 못하며, 거버넌스 부재를 정당화하는 것 외에는 전략적 목적을 갖지 않는다는 점은 보여준다.
대안에 대한 일반적인 그림은 서방이 경쟁에서 이기고 그 우위를 잘 활용하는 것입니다. 진짜 대안은 어느 곳의 어떤 기업이든 인공 초지능을 만드는 것입니다. 그것은 확실한 죽음입니다.
중국 논거에 내재된 핵심 가정은 중국이 통제할 수 없는 초지능을 가장 먼저 만드는 데 이익을 본다는 것입니다. 그런 시스템은 미국을 겨냥해 중국이 휘두를 수 있는 무기가 아닙니다. 그것은 스스로의 목표를 추구하는 에이전트이며, 그 목표는 베이징에서든 샌프란시스코에서든 인간 생존과 양립할 수 없을 수 있습니다.
중국도 이 행성에 있다. 중국 지도자들도 자녀와 손주가 있다. 중국이 통제 불가능한 초지능을 만들어 서방에 대한 지정학적 도구로 사용한다는 시나리오는, 중국 지도부가 세계 최고 연구자들이 미해결이라고 말하는 통제 문제를 해결했다고 믿어야 성립한다. 또한 중국 지도자들이 지정학적 이득을 위해 자국 문명의 파괴를 감수할 것이라고 믿어야 한다. 어느 쪽이든 증거는 전혀 없다.
미국은 1945년에 핵 독점을 가졌습니다. 소련은 1949년까지 핵무기를 개발했습니다. 4년 만에 세계에서 가장 강력한 두 적대국이, 근본적으로 양립할 수 없는 정치 체제와 활발한 대리전, 진정한 상호 불신 속에서도 핵 군비 통제를 시작했습니다.
제한적 핵실험 금지 조약은 1963년에, SALT I은 1972년에, INF 조약은 1987년에, START는 1991년에 이루어졌습니다. 이 협정들은 US 지도부가 "악의 제국"이라고 불렀던 국가와 협상되었고, 사찰 체제로 검증되었으며, 성공했습니다. 냉전 절정기에 소련과 검증된 군비 통제가 가능했다면 중국과는 달성할 수 없다 단순히 신뢰할 수 없습니다. 선례가 존재한다. 기술은 알려져 있습니다.
중국은 2023년 11월 Bletchley 선언에 서명하여, 선진 인공지능이 잠재적으로 재앙적인 위험을 초래한다는 것을 인정하는 첫 국제 합의에 참여했습니다. 중국은 2024년 서울 인공지능 안전 정상회의에 참석했습니다. 중국은 자체 ASI 거버넌스 규정을 발표했으며, 여기에는 알고리즘 투명성, 콘텐츠 라벨링, 배포 전 최전선 모델의 안전 평가 요건이 포함됩니다.
중국을 ASI 거버넌스에 참여하지 않으려는 불량 행위자로 보는 그림은 사실과 다릅니다. 중국은 인공지능 개발이 잘 진행되기를 바랄 강력한 이유가 있습니다. 지도부도 실존적 위험에서 자유롭지 않고, 경제는 기술적 안정에 의존하며, 전 세계적 인공지능 재앙은 40년 개혁이 쌓아 올린 번영을 파괴할 것입니다. 참여의 기반은 존재합니다. 필요한 것은 이를 구체화할 국제적 틀입니다.
"우리는 앞서기 위해 경쟁해야 한다"는 논리는 선두가 결과를 통제할 능력을 준다고 가정한다. 그러나 반대가 사실이다. 경쟁 압력 속에서 모서리가 깎이며 개발이 빨라질수록, 누가 만들었든 결과물이 안전할 가능성은 낮아진다.
경쟁 압력 아래 적절한 안전 평가 없이 ASI을 향해 질주하는 US 연구소는 US의 이익에 봉사하는 안전한 ASI을 만들어내지 않습니다. 그것은 모두를 위협하는, 미국을 포함한 안전하지 않은 ASI을 만들어냅니다. 경쟁적 틀은 통제 상실을 가장 가능성 있게 만드는 개발 관행을 정확히 장려합니다. 경쟁 역학은 모두가 두려워하는 결과를 정확히 가속합니다.
AI 조약에 대한 지속적인 반대는 검증이 불가능하다는 주장입니다. 이 주장은 겉보기보다 약합니다. 최전선 AI 모델을 훈련하는 데 필요한 하드웨어는 역사상 가장 집중된 병목 중 하나를 통과합니다.
TSMC는 사실상 모든 최첨단 인공지능 칩을 생산한다. ASML은 그러한 칩을 만들 수 있는 유일한 리소그래피 장비를 만든다. NVIDIA는 지배적인 GPU 아키텍처를 설계한다. 이 세 회사는 모두 동맹국에 있거나 동맹국의 수출 통제 관할 아래 있다. 미국 정부는 이미 수출 통제를 통해 첨단 인공지능 칩이 중국으로 유입되는 것을 제한하려 하고 있다. 조약 기반 컴퓨트 감시 체제는 현재 일방적으로 시행 중인 조치를 공식화하고 확장하는 것이다. 검증은 공학적 문제이며, 공학적 문제에는 해결책이 있다.
중국 논증의 가장 깊은 문제는 중국에 대한 정확성이 아니라 현실에서의 기능이다. 그 논증은 아무것도 하지 말라는 정당화에 쓰인다. 국내 규제도, 국제 관여도, 안전 요구사항도, 책임 체계도, 어떤 형태의 거버넌스도 하지 말라는 것이다.
모든 AI 안전 제안에 대한 답이 "하지만 중국"이라면 어떤 행동도 불가능하다. 이는 지정학적 언어로 치장한 거부권이다. 이는 AGI를 만들기 위해 경쟁하는 기업들의 이익에 봉사하며, 경쟁 불안으로 정치 환경이 마비되어 어떤 구속력 있는 규칙도 제정될 수 없게 만든다. 중국 논리는 필요한 규제를 지연시키기 위한 전략으로 동원된다.
초지능을 규제하는 데 반대하는 가장 큰 목소리 중 일부는 심리적 전술입니다.
이것은 현실주의로 치장한 학습된 무기력입니다. 결과가 정해져 있다면 노력은 무의미하므로 조직을 멈춥니다. 역사가들은 이와 가까운 현상을 "거짓 종결"이라고 부릅니다. 살아 있는 정치적 선택을 이미 결정된 것으로 취급하여 청중이 시도조차 하지 못하게 하는 것입니다. 핵무기도 모든 국가가 감당할 수 있다면 불가피하다고 불렸습니다. 대부분은 결코 가지지 못했습니다. 몬트리올 의정서도 불가능하다고 불렸지만 결국 가능해졌습니다.
기술은 사람들이 계속 그것을 만들기로 선택하고 서로를 구속하기를 거부할 때만 불가피합니다. 그것은 선택이지 물리 법칙이 아닙니다. "불가피하다"고 가장 크게 말하는 사람들은 종종 여러분의 수동성에서 이득을 얻을 것이라고 믿습니다.
경쟁 상대가 계속 구축해 초지능에 도달한다면, 그들은 우리가 갖지 못한 무기를 손에 넣는 것이 아니다. 누구도 통제할 수 없는 시스템을 손에 넣는 것이며, 그들 자신조차 통제하지 못한다. 우리가 더 빨리 구축한다고 해서 그들이 멈추는 것은 아니다. 같은 통제 불가능한 시스템이 나타날 가능성만 높일 뿐이다. 그들이 계속하지 않기를 바란다면, 중단은 그들을 포함해야 하며, 우리는 그것을 확인할 수 있어야 한다. 더 빨리 구축하는 것은 그 일을 하지 않는다.
주장을 다룰 필요가 없도록 그 사람에게 라벨을 붙이세요. 누군가를 둠어 그리고 청중은 그 주장을 단순한 성격 유형으로 치부하라는 권유를 받는다. 같은 수법이 안전벨트, 담배 규제, 기후 과학에도 쓰였다. 인신공격은 안전 근거가 될 수 없다.
권위에 호소하되 권위는 없다. 제프리 힌튼과 요슈아 벤지오를 비롯해 작업에 가장 가까운 많은 사람들이 위험이 실재하며 제대로 관리되지 않고 있다고 말했다. 내부 안전 팀은 출하를 장려하는 기업 안에 있다. '우리를 믿으라'는 검증이 아니다. 검증은 사찰관, 기준, 부정행위에 대한 비용이다.
또 다른 형태의 조건화된 수동성입니다. 창문이 이미 닫혔다면 정치의 어려운 작업을 건너뛸 수 있습니다. 능력은 빠르게 움직이고 있습니다. 조약 작업은 아직 열려 있으며, 최전선 훈련은 여전히 소수의 칩 제조사와 팹을 통과합니다. 늦은 것은 끝난 것과 같지 않습니다. 끝난 것처럼 행동하는 것이 끝나게 만드는 길입니다.
미국과 소련은 냉전 기간 모든 권력 차원에서 치열하게 경쟁하면서도 핵 절멸을 막는 군비통제 체제를 동시에 구축했다. 두 가지는 공존할 수 있었는데, 양측 모두 누가 원인을 제공했든 모두에게 더 나쁜 결과가 있다는 것을 인식했기 때문이다.
같은 논리가 AI에도 적용됩니다. 미국과 중국은 AI 응용, 경제적 배치, 연구개발에서 경쟁하면서도, 특정 범주의 AI 개발(모든 영역에서 인간 지능을 초월하고 통제가 검증 불가능한 시스템)은 다자간 검증 체계 없이는 어느 쪽도 구축하지 않기로 합의할 수 있습니다.
이것이 바로 핵무기에 대해 성공적으로 취해진 입장이다. NPT 조약과 전략무기제한협상을 협상한 사람들은 소련의 의도에 대해 순진한 이상주의자가 아니었다. 그들은 이념과 무관하게 상호 절멸이 어느 쪽의 이익도 아니라는 것을 이해한 냉철한 현실주의자였다.
우리는 AI에 대해서도 같은 냉철한 현실주의를 주장한다. 중국과 미국은 모두 통제할 수 없는 초지능으로부터 동일한 실존적 위험에 직면해 있다. 둘 다 충분한 안전 검증 없이 초지능을 만드는 것을 막는 조약은 양국의 이익에 부합한다. 협상은 어려울 것이다. 그러나 역사상 가장 중요하고 잠재적으로 위험한 기술을 거버넌스와 안전 검증 없이 경쟁적으로 개발하는 대안은, 승리를 원한다고 말하는 당사자를 포함해 모두에게 더 나쁘다.
너무 늦기 전에 거버넌스를 위한 주장을 구축하는 사람들과 함께하세요.