인공지능 개발자들이 자사 시스템의 위험을 공개적으로 말하는 것보다 더 많이 알고 있다는 사실은 이제 잘 입증되어 있습니다. 주요 인공지능 연구소의 내부 안전 팀은 중대한 우려를 문서화했습니다. 그 연구소를 떠난 연구자들은 현재 시스템이 너무 빨리 배포되고 있는지에 대한 내부 논의를 설명합니다. 안전 우려는 알려져 있으며 많은 경우 개발이 계속되는 가운데 부분적으로만 대응되고 있을 뿐, 알려지지 않은 것이 아닙니다.
어떤 연구소나 국가도 더 나은 선택을 혼자서 함으로써 그 인센티브를 해결할 수 없습니다. 다자간 거버넌스가 필요합니다.
이것은 안전을 중시하는 행위자들조차 자신의 위험 평가가 권장하는 것보다 빠른 개발과 배포를 향한 구조적 인센티브에 직면하는 조율 문제에 관한 이야기이며, 주로 악의적 행위자에 관한 이야기가 아닙니다. 그러한 인센티브(AI 경쟁 역학)를 이해하는 것은 개별 조직의 안전 약속이 왜 불충분한지, 실제로 어떤 거버넌스 구조가 필요한지를 이해하는 데 필수적입니다.
경주의 구조
AI 경쟁 역학의 기본 구조는 간단하다. 여러 행위자(국내 기업들, 세계 각국)가 가장 유능한 AI 시스템을 개발해 먼저 배포하려 경쟁한다. 안전에 투자하는 것은 시간과 자원이 들며, 그 대신 능력 개발을 가속하는 데 쓸 수 있다. 진지하게 안전에 투자하려고 속도를 늦추는 행위자는 그렇게 하지 않는 행위자에게 뒤처진다. 경쟁에서 이기는 행위자는 구조적 유인에 따라 안전을 가장 공격적으로 희생한 쪽일 가능성이 높다.
이로 인해 안전을 중시하는 행위자들은 두 가지 나쁜 선택지 사이에서 선택해야 하는 역학이 만들어집니다. 안전 기준을 유지하다가 뒤처져, 덜 안전을 중시하는 행위자들이 프런티어를 형성하게 하거나, 경쟁력을 유지하기 위해 안전 투자를 줄여 자체 기준이 저하되는 결과를 낳을 수 있습니다. 어느 쪽이든 경쟁 압력은 개별 행위자가 조율할 수 있다면 선호하지 않을 결과를 체계적으로 초래합니다.
한 연구실이 속도를 늦추는데 경쟁 상대가 늦추지 않으면, 신중한 연구실은 시장 점유율을 잃고 경쟁은 속도를 유지합니다. 그 단순한 보수 행렬이 "우리가 책임 있는 쪽이 되겠다"는 전략이 실패하는 이유입니다. 일방적 자제에 의존하는 안전은 가장 자제하지 않는 행위자에게 기부하는 것이지, 전략이 아닙니다.
국가적 차원
연구소 수준의 경쟁 역학은 원칙적으로 국내 규제로 해결할 수 있다. 정부는 자국 관할 내 모든 인공지능 연구소에 안전 요건을 동시에 부과해 해당 관할 내에서 안전 투자의 경쟁적 불이익을 없앨 수 있다. 이것이 국내 인공지능 규제가 중요한 이유다. 국가 간 문제를 해결하지 못하더라도 국내 조정 문제를 해결할 수 있다.
국가 차원의 경쟁 역학은 구조적으로 더 어렵다. US와 중국의 AI 경쟁은 중대한 지정학적 결과를 초래하는 전략적 경쟁으로 자주 묘사되며, 이러한 틀은 국가 차원에서도 동일한 인센티브 구조를 만든다. 안전을 위해 속도를 늦추는 국가는 그렇지 않은 국가에 뒤처지게 된다. 안전 규제가 안전 규제가 약한 경쟁국에 비해 전략적 불리함을 초래한다는 우려는 진지한 조정 문제이지, 악의적인 반대가 아니다.
이것이 순수 국내 인공지능 규제(설령 엄격한 국내 규제라 해도)가 인공지능 경쟁 역학에 대한 대응으로 불충분한 이유입니다 국제 거버넌스 격차 는 집행 메커니즘을 갖춘 다자간 틀을 필요로 하는 구조적 조정 문제이며, 핵무기 경쟁을 부분적으로 해결한 군비통제 조약과 유사합니다. 어느 나라가 더 나은 규제를 갖고 있는지에 관한 기술적 문제가 아닙니다.
경쟁 역학 해결의 선례
위험한 기술 경쟁에 대한 조정이 정치적으로 불가능하다는 우려는 역사적 기록과 맞지 않는다. US와 소련은 냉전 절정기에도 깊은 불신과 지속적인 전략 경쟁 속에서 양측의 가장 위험한 무기에 구속력 있는 한도를 부과하는 전략무기제한협정 I과 II를 협상했다. 화학무기협약은 세계 대부분 국가에서 무기 한 범주 전체를 금지했다. 생물무기협약도 생물무기에 대해 같은 일을 했다. 몬트리올 의정서는 오존층 파괴 물질의 전 세계적 단계적 폐기를 조율했다.
이들 중 어느 것도 어려움, 이탈, 집행 문제 없이 달성된 것은 없습니다. 모두 조율되지 않은 경쟁보다 진정한 개선을 나타냈습니다 위험한 기술에 대한 국제 협력의 역사적 선례 ASI 거버넌스 논의의 비관적 틀보다 더 광범위합니다.
"안전 의식이 있는 연구소가 경쟁에서 이겨야 한다"는 주장은 안전 옹호자들의 선호와 무관하게 진행되고 있으며, 안전 의식이 있는 주체가 최전선에 있는 것이 안전에 무관심한 주체보다 낫지만, 그것만으로는 충분하지 않습니다
인공지능 경쟁 역학에 대한 우려에 대한 흔한 대응은 안전 중심 연구소가 성공하여 최전선이 안전을 중시하는 행위자들에 의해 형성되도록 하는 것이라는 것입니다.
이 주장에는 명확히 밝혀둘 한계가 있다. 첫째, 최전선에 있다는 것이 경쟁 역학을 없애지 않는다. 오히려 안전을 중시하는 연구소가 최전선을 유지하기 위해 모서리를 깎아야 하는 경쟁 압력에 직면하게 만든다. 둘째, 경쟁 압력 주장은 안전을 덜 중시하는 경쟁자를 언제든 불러낼 수 있으므로 어떤 가속도 정당화하는 데 쓰일 수 있다. 셋째, 이 주장은 안전을 중시하는 연구소가 이기기를 전제하지만, 이를 보장할 메커니즘을 제시하지 않는다. 그것은 희망이지 거버넌스 구조가 아니다.
인공지능 경쟁 역학을 해결하려면 핵무기 경쟁을 부분적으로 해결한 것과 같은 것이 필요합니다. 모든 주요 행위자에게 동시에 적용되는 조율된 제한, 이탈을 탐지할 검증 메커니즘, 이를 억제할 집행 메커니즘입니다. 이는 다자 거버넌스 문제입니다. 와 같은 억제 체제 MAIM 경쟁하는 국가들 사이의 교착 상태를 묘사하지만, 경쟁 자체를 해결하지는 않는다. 재단의 거버넌스 제안 연구소들이 먼저 목표를 달성하리라는 희망이 아니라 이 요건을 중심으로 구성되어 있습니다.