"저는 낙관주의자입니다. 분명 인류는 멸종하지 않을 겁니다. 그런 일은 한 번도 없었으니까요." 안전 패널 뒤, 그린룸과 댓글란에서 미소와 함께 자주 듣는 말입니다. 그 미소는 실제로 사회적 역할을 합니다. 신중함을 성격 결함으로, 추진력을 정서적 건강으로 그립니다. 또한 기분 안에 위험 주장을 밀어 넣습니다.
낙관은 허용된다. 우리가 여전히 진지한 작업을 하고 있다면 허용되지 않는 것은 기질을 증거로 취급하는 것이다.
"이전에 일어난 적 없는" 것이 실제로 말하는 것
인간 멸종은 정의상 그 이후에 인간 증인이 없다. 살아 있는 모든 사람은 종이 계속된 타임라인에서 표본을 추출하고 있다. 이를 선택이라고 부르자, 철학이 아니라. 복권 당첨자는 당첨 확률에 대한 나쁜 정보원이며, "나는 자동차 사고로 죽은 적이 없다"는 안전벨트에 반대하는 빈약한 주장이다.
화석 기록은 덜 감상적입니다. 지금까지 살았던 종의 대다수는 사라졌습니다. 여러 번의 대량 멸종이 다음에 올 것들을 위해 판을 정리했습니다. 호모 사피엔스 지질학적 시간으로 볼 때 아직 젊으며 이미 병과 전쟁, 멸종 위기를 여러 번 통과했다. "이전에 일어난 적 없다"는 우리가 아직 논할 수 있는 얇은 역사 조각에 대한 진술일 뿐이다.
처음이 바로 재앙을 만든다
1945년 이전에는 단일 폭탄으로 도시가 파괴된 적이 없었다. 1918년 이전에는 그 속도로 전 세계 철도와 선박망을 타고 전염병이 퍼진 적이 없었다. 1980년대 오존 작업 이전에는 지표면을 살균하지 못하게 하는 층을 얇게 만드는 인류 실험을 한 적이 없었다. 이 각각은 이전에 일어난 적 없는 일이었다. 행동에 나선 사람들은 완성된 사례가 연구 자료로 제공되기를 기다리지 않았다.
인공 초지능은 그 범주에 속한다. 평균을 낼 수 있는 정렬되지 않은 초지능의 역사적 사례는 없다. 메커니즘이 있다. 목표를 추구하고, 스스로 능력을 개선하며, 결국 자신을 바로잡으려는 제도를 능가하는 시스템. 기반 비율이 침묵할 때 사용하는 것이 메커니즘이다. AI로 인한 인간 멸종의 사전 확률을 요구하는 것은 진단 전에 시체를 요구하는 것이다.
모든 최초의 재앙은 사전에 전례 없는 일처럼 보인다.
제대로 향한 낙관주의
내가 존중하는 낙관주의 버전이 있습니다. 그것은 다음과 같이 말합니다. 사람들은 압박 속에서도 이전에 협력한 적이 있다. 조약은 유지되었다. 과학이 명확해지고 정치가 조직되었을 때 산업은 방향을 바꾸도록 강요받았다. 그 자제 기록 핵무기 통제에서 오존층을 파괴하던 화학물질에 이르기까지 실제입니다. 그 낙관론은 주체성을 가리킵니다. 미래는 여전히 결정이라고 가정합니다.
그린룸 버전은 정반대입니다. 생존을 우주의 기본 설정으로 보고 우려를 예의 없는 태도로 취급합니다. "좋은 결과를 선호한다"는 말을 "따라서 좋은 결과가 일어날 가능성이 높다"는 말과 혼동합니다.
제프리 힌튼, 요슈아 벤지오, 수백 명의 연구자들이 인류 멸종 수준의 AI 위험을 팬데믹 및 핵전쟁과 같은 목록에 올렸을 때, 그들은 메커니즘이 타당해 보이고 하락이 전면적일 때 전문가가 하는 지루한 일을 한 것이지 기술 기조연설의 악당 오디션을 본 것이 아닙니다. 그들의 숫자에 동의하지 않을 수는 있습니다. 그러나 성격 유형을 선언해 범주 자체를 일축할 수는 없습니다.
어깨 으쓱의 대가
어깨를 으쓱하는 태도는 싸움 없이 개발을 계속하려는 사람들에게 유리하게 작용한다. 멸종 논의를 분위기 문제로 재구성하면, 예의 바른 행동은 생산성과 앱 이야기로 주제를 돌리는 것뿐이다. 한편 연구소는 규모를 키우고, 평가는 뒤처지며 통제 문제 은 미해결 상태로 남아 있다. 분위기가 거버넌스로 오인되었다.
나는 인간의 프로젝트가 계속되기를 바랍니다. 그것을 바라는 것은 쉬운 반쪽입니다. 어려운 반쪽은 교정 불가능한 권력을 누구도 확실히 끌 수 없는 시스템에 집중시키는 개발 경로를 거부하고, 그에 필요한 정치적 작업을 하는 것입니다 구속력 있는 정지 필요로 합니다. 낙관주의가 단지 "단점에 대해 말하는 것을 멈추라"는 의미라면, 그것은 자장가가 되었습니다.
멸종은 우리에게 이전에 일어난 적이 없다.