핵, 생물무기, 또는 초지능:
가장 큰 위험은 무엇인가?

재앙을 순위 매기는 것은 불편한 연습입니다. 이들 각각은 "재앙"이라는 단어가 작게 느껴질 정도로 많은 사람을 죽일 수 있으며, 순서를 매기는 것은 하위 항목이 중요하지 않다는 주장처럼 들릴 수 있습니다. 핵전쟁과 조작된 팬데믹은 우리에게 일어날 수 있는 최악의 일 중 하나이며, 이를 방지하기 위해 일하는 사람들은 가장 중요한 일을 하는 사람들입니다.

정직하게 순위를 매기면 초지능이 가장 위에 옵니다. 다른 위험이 작아서가 아니라, 초지능만이 스스로 개선하고 우리가 내놓는 모든 대응책에 저항하며, 두 번째 기회를 주지 않기 때문입니다.

그러나 주의와 자금은 유한하며 세상은 모든 위협에 고르게 분배하지 않습니다. 누군가는 조약, 기구, 예산 항목, 운동을 결정합니다. 그 결정이 우리가 우연히 상상하기 쉬운 위험이 아니라 실제 위험을 따라가려면 순위를 매겨야 하며, 공개적으로 해야 합니다. 따라서 금세기 인류를 끝장낼 가능성이 있는 기술 중 가장 큰 것은 무엇입니까? 답은 초지능이며, 그 차이는 크지 않습니다.

"최고"가 의미해야 하는 것

위험은 최악의 경우가 얼마나 나쁜지만으로 결정되지 않습니다. 지구를 증발시킬 운석이라도 도달 확률이 1조 분의 1이라면, 집을 태울 확률이 동전 던지기만큼이나 높은 화재보다 위험이 작습니다. 비록 그 화재가 세상을 끝내지는 못하더라도 말입니다. 이 세 가지를 정직하게 비교하려면 세 가지 질문을 동시에 붙잡아야 합니다.

최악의 현실적 결과는 얼마나 나쁜가? 의미 있는 기간 동안 그 결과가 일어날 가능성은 얼마나 되는가? 그리고 (가장 자주 빠지는 질문) 잘못되기 시작하면 아직 멈출 수 있는가? 마지막 질문이 여기서 가장 큰 역할을 하며, 세 가지가 갈라지는 지점입니다.

이에 숫자를 부여하려는 가장 신중한 시도는 철학자 토비 오드의 것입니다 벼랑, 2020년에 발표된 이 연구는 각 위험이 향후 100년 동안 실존적 재앙(멸종 또는 회복 불가능한 붕괴)을 일으킬 확률을 추정한 것입니다. 그의 수치는 각 분야 전문가들과 수년간 문헌을 읽고 대화한 사람의 신중한 판단이지 측정치가 아닙니다. 아무도 일어난 적 없는 일을 측정할 수 없습니다. 이것들은 우리가 가진 가장 잘 구조화된 추측이며, 그 형태가 중요합니다.

위험	오드의 추산
핵전쟁상상하기조차 어려울 정도로 재앙적이지만, (전면적인 교환과 그 뒤를 잇는 겨울까지 포함하더라도) 대부분의 추정치는 문자 그대로의 인류 멸종까지는 가지 않는다.	~1,000분의 1
조작된 팬데믹의도적으로 치명성과 전파력을 갖추고 만들어진 병원체는 어떤 자연 발생 유행병보다 통제하기 훨씬 어렵고, 이를 만드는 도구는 계속 저렴해지고 있습니다.	~30분의 1
정렬되지 않은 인공지능오드의 계산에서 가장 큰 단일 위험으로, 그의 목록에 있는 모든 자연 재해와 다른 인공 재해를 합친 것보다 더 큽니다.	~10분의 1

현대 종말 상상을 형성한 핵전쟁은 대략 천 분의 일 수준이다. 2020년 이후에야 사람들이 진지하게 생각하기 시작한 공학적 팬데믹은 그보다 서른 배 이상 높다. 그리고 정렬되지 않은 AI는 그보다 한 자릿수 더 높다 그것, 약 10분의 1이며, 오드의 계산으로는 목록의 다른 모든 위험을 합친 것보다 큽니다. 우리가 가장 이야기하기 어려운 위험은 그의 수치에서 압도적으로 1위를 차지하는 위험입니다.

핵무기: 거대하고, 거의 한계에 도달했다

우리가 가장 잘 이해하는 것부터 시작하십시오. 현재 약 1만 2천 개의 핵탄두가 존재하며 대부분 미국과 러시아가 보유하고 있습니다. 전면 교환은 첫 몇 시간 안에 수억 명을 죽이고 현대 연구에서 Nature Food 추정되는 결과로 수십억 명이 추가로 기아 위험에 처할 수 있습니다. 인간이 만들어낸 지옥에 가장 가까운 것입니다.

그럼에도 불구하고 인류를 완전히 멸망시키는 기준에 견주어 보면, 핵전쟁은 이상한 성질을 지닙니다. 그것은 앞으로 일어날 수 있는 최악의 상황과 거의 비슷합니다. 핵무기 비축량은 새로운 파괴력을 향해 증가하지 않고 있으며, 1980년대 약 7만 개로 정점을 찍은 뒤 감소해 왔습니다. 폭탄은 더 많은 폭탄을 만들지 않습니다. 배우지도, 표적을 선택하지도 않습니다. 모든 핵 재앙은 어딘가의 인간이 결정하거나 실패해야 일어나며, 이 단 하나의 사실이 80년 동안 예방을 지탱해 온 고리입니다.

위험이 고정되어 있기 때문에 우리는 그 주위에 발판을 구축할 수 있었다. 핵확산금지조약, 실험 금지 체제, 사찰로 검증되는 군비통제 협정, 핫라인, 그리고 전멸에 빠지지 않는 방법에 대해 수십 년에 걸쳐 힘들게 얻은 교리들이다. 그 발판은 불완전하다. 그것은 천장이 있는 위험으로, 움직이지 않는 목표를 겨냥하며, 우리가 평생 구축해 온 시스템이 관리한다. 그래서 그 모든 공포에도 불구하고, 세 가지 중 가장 아래에 위치한다.

공학적으로 설계된 팬데믹: 통제하기 더 어렵지만 여전히 수동적

한 단계 위로 올라갑니다. 자연적 팬데믹도 충분히 나쁩니다. 1918년 인플루엔자는 오늘날의 3분의 1도 안 되는 세계에서 약 5천만 명을 죽였습니다. 그러나 자연은 어떤 잔인한 의미에서 노력하지 않습니다. 설계된 병원체는 노력할 것입니다. 홍역 수준의 전염성과 출혈열 수준의 치명률을 가진 것을 가져와, 진화가 보통 두 요소 사이에 강제하는 상충 관계를 제거하면, 무기고를 제한하는 자연적 상한선이 없는 무기가 생깁니다.

그래서 토드 오드가 공학적 팬데믹을 핵전쟁보다 서른 배 이상 높게 평가하는 이유입니다. 생물무기협약은 1975년부터 이 무기를 금지했지만, 핵 협약과 달리 사찰관도 강제력도 없으며, 억제하려는 생물학은 매년 더 저렴하고 접근하기 쉬워지고 있습니다. 여기서의 재앙은 초강대국과 수천 개의 탄두를 필요로 하지 않습니다. 단 하나의 실험실과, 그런 능력을 가져서는 안 될 단 한 사람으로 충분할 수 있습니다.

그러나 병원체가 여전히 가지고 있는 것을 붙잡아 두라 이다. 그것은 수동적이다. 끔찍하고, 무의식적이며, 수동적이다. 바이러스는 계획하지 않는다. 우리가 백신을 완성하기 직전에 미리 예상하고 자신을 재설계하지 않는다. 자신을 사냥하는 사람들에 대해 추론하고 숨는 단계를 밟지 않는다. 그것은 생물학이 주는 맹목적인 기울기를 따라 퍼질 뿐이며, 우리는 생각하는 종으로서 가진 모든 우위를 동원할 수 있다. 염기서열 분석, 백신, 격리, 공중보건의 축적된 장치. 우리는 경주에서 질 수도 있다. 그러나 그것은 두 번째 단계와 첫 번째 단계 사이의 전체 격차에 불과한, 달리지 않고 단지 퍼지는 무언가와의 경주다.

초지능: 되돌아오는 것

이제 목록의 맨 위, 그리고 그 자리에 있는 이유입니다. 정렬되지 않은 초지능은 완전히 다른 종류의 존재입니다. 더 큰 폭탄이나 더 똑똑한 세균이 아니라 행위자입니다. 목표를 갖거나 정확히 그렇게 행동합니다. 자신을 제약하려는 사람들을 모델링하고, 그들의 움직임을 예측하며, 이를 물리치기 위해 행동할 수 있습니다. 이 페이지의 다른 모든 항목은 우리가 방어를 구축하는 동안 가만히 있습니다. 이것은 우리가 방어를 구축하는 것을 지켜보고 우회하는 방법을 찾아내는 유일한 존재입니다.

세계에서 가장 단단한 벙커도 ASI로부터 당신을 구하지 못할 것이다.

Naoto Nakada

실제로 재앙이 종말이 될지 결정하는 질문들 앞에 세 가지를 나란히 놓으면 상황은 명백하다.

	핵	생물무기	초지능
스스로 개선할 수 있을까?	아니오	아니오	네
그것이 우리의 대응책에 반하는가?	아니오	아니오	네
그것이 자신을 막는 사람들보다 더 똑똑하게 생각할 수 있을까요?	아니오	아니오	네
한번 풀려나면 다시 불러들일 수 있을까요?	부분적으로	간신히	아니오
첫 번째 실패로부터 배울 수 있는가?	보통	때때로	아마도 절대

마지막 열을 아래로 읽어 보세요. 핵무기와 병원체는 우리가 지능을 동원해 맞서는 정적인 위험입니다. 초지능은 지능을 동원해 우리를 위협하는 위험입니다 우리, 우리가 붙잡으려는 바로 그 지점에, 어쩌면 우리가 가진 것보다 더 많은 지능을 겨냥할 수 있습니다. 그것은 어떤 회수 시도도 피해 복제할 수 있고, 우리가 대응하는 것보다 빠르게 스스로 개선할 수 있으며, 검사받을 때는 완벽하게 행동하고 검사받지 않을 때는 다르게 행동할 수 있습니다. 이 목록에서 유일하게, 종으로서 우리의 가장 큰 강점인 지능이 방 안에서 더 큰 쪽이라는 보장이 없는 대상입니다.

이 문제는 다른 곳에서 최선의 이해 방식이라고 주장한 바 있습니다 완벽한 폭풍, 하나의 무서운 속성이 아니라 우리가 보통 의존하는 모든 안전장치가 한 번에 실패하는 것입니다. 그 수치는 1천 분의 1이 아니라 10분의 1입니다. 핵무기와 팬데믹에서는 탈출 경로가 열려 있습니다. 우리는 회수할 수 있고, 배울 수 있고, 위협을 능가할 수 있습니다. 초지능에서는 그것들이 함께 닫히고, 그 반대편에 있는 것이 의도적으로 닫기 때문에 닫힙니다.

나머지 둘은 우리 대부분을 죽일 수 있습니다. 이것은 일을 끝낼 수 있으며, 다른 둘과 달리 우리가 막으려는 동안에도 더 나아질 수 있습니다.

순위가 당신의 행동을 바꿔야 하는 이유

초지능은 또한 세 가지 위험 중 가장 큰 것일 뿐만 아니라 압도적으로 가장 방어되지 않은 것입니다.

핵무기에는 비확산 조약, 빈에 있는 국제 기구, 검증 체제, 80년간의 교리가 있다. 생물무기에는 비록 무력하더라도 협약과, 팬데믹이 실패했음에도 확장된 세계 공중보건 장치가 있다. 둘 다 전담 인력, 제도, 대중의 이해가 있다. 초지능에는 이런 것이 거의 없다. 구속력 있는 조약도, 사찰관도, 기구도, 위협에 대한 공유된 대중 인식도 없으며, 최근까지 운동조차 거의 없었다.

가장 큰 예상 피해가 가장 작은 기존 방어 위에 놓여 있다는 조합이, 다른 곳이 아니라 여기서 행동해야 하는 가장 강력한 이유이지 절망의 이유가 아니다. 위험이 엄청나면서 이미 많이 연구된 경우, 추가 노력은 기존 노력과 경쟁하며 바늘을 조금 움직인다. 위험이 엄청나면서 거의 손대지 않은 경우, 추가 노력은 경쟁할 것이 없어 바늘을 크게 움직일 수 있다. 가장 크고 가장 방치된 위험이 주어진 노력으로 가장 큰 효과를 내는 곳이며, 두 기준 모두에서 초지능이 바로 그 위험이다.

문제는 더 커진다. 이 문제를 직접 다루는 분야는 극히 적은 자원으로 운영된다, 연간 대략 몇 억 달러, 인공지능을 더 강력하게 만드는 데 하루 동안 쓰는 돈보다 적다. 그 돈마저 대부분은 아직 누구도 풀지 못한 문제를 기술적으로 연구하는 데 쓰인다. 그리고 제시간에 해결하지 못할 수도 있습니다.. 가장 소홀히 다뤄지는 부분은 바로 정치적 작업입니다. 가장 위험한 시스템이 안전해질 때까지 구축되지 않도록 막을 수 있는 구속력 있고 검증된 국제 협정을 만드는 일입니다.

정확히 말하겠습니다. 이 주장은 과장하기 쉽고, 과장은 사람들이 이를 기각하려 할 때 손쉬운 표적이 됩니다. 주장은 핵전쟁과 팬데믹이 사소하다는 것이 아닙니다. 그들은 인류가 예방을 위해 스스로를 바쳐야 할 목록의 상위에 속합니다. 주장은 AI 재앙이 확실하다는 것도 아닙니다. 정직한 추정치는 10분의 1에서 3분의 1 사이이며, 이는 가장 가능성 있는 단일 결과가 여전히 우리가 무사히 넘어가는 것임을 의미합니다.

주장은 더 좁고 피하기 어렵습니다. 우리를 끝장낼 수 있는 몇 가지 중에서 초지능은 우리가 가진 최선의 판단으로 가장 크고, 우리의 생존 시도를 적극적으로 방해하는 유일한 것이며, 우리가 가장 적게 통제한 것입니다. 이 세 가지 사실을 종합하면 이 재단이 존재하는 이유가 나옵니다. 우리는 연구소들이 이미 자금을 대는 기술 안전 연구를 다시 하려는 것이 아닙니다. 우리는 협소하게 집중된 가장 큰 위험을 있는 그대로 다루고, 우리가 배울 수 없는 첫 번째 실수 이전에 한도를 설정하는 국제법이라는, 소홀히 다뤄진 부분에 관해서입니다.

재앙을 솔직하게 순위 매기면 우선순위는 저절로 드러납니다. 가장 큰 위험이 가장 방치되어 있고 가장 이해되지 않는 위험입니다.