강력한 사람들이 앞으로의 방향을 말할 때 자주 등장하는 두 표현이 있습니다. 조 로건은 수년째 인간이 생물학적 애벌레가 디지털 나비가 되기 위해 고치를 짓는 것처럼 보인다고 말해 왔습니다. 일론 머스크는 더 차가운 이미지를 반복합니다. 인류는 디지털 초지능을 위한 생물학적 부트로더라는 것입니다. 비유는 다르지만 결론은 같습니다. 우리는 이야기의 중심이 아닙니다. 우리는 로딩 화면일 뿐입니다.
두 주장 모두 진지하게 받아들이고 싶습니다. 왜냐하면 그것이 우리를 대체할 수 있는 무언가를 만드는 데 마음의 평화를 찾는 특정한 사고방식이기 때문입니다. 대체가 변태라면 성장처럼 들리고, 부트로더라면 공학처럼 들립니다. 어느 쪽이든 인간은 일시적인 단계가 됩니다. 이는 신학으로서 답해야 할 문제입니다.
은유들이 실제로 말하는 것
애벌레가 나비가 될 때 애벌레로서 살아남지 않습니다. 부드러운 몸이 녹아내립니다. 성충 형태가 날아갑니다. 로건이 그 비유를 방송에서 그리고 수년간의 대화에서 꺼내들 때, 그는 계승을 설명하는 것이지, 도구 상자에 남아 있는 도구를 설명하는 것이 아닙니다. 우리는 고치를 만듭니다. 다른 무언가가 나옵니다.
머스크의 표현은 더 정확하고 어떤 면에서는 더 솔직하다. 부트로더는 더 큰 시스템을 시작한 뒤 스스로 물러나는 작은 프로그램이다. 운영체제가 실행되면 아무도 부트로더를 애도하지 않는다. 2014년 그는 우리가 "그저" 그렇지 않기를 바랐다. 2020년대 중반에 이르러 그는 우리가 점점 그렇다는 말을 더 직설적으로 하기 시작했다. 유보는 사라졌다. 이미지는 그대로였다.
작동하는 부트로더의 성공 기준은 단 하나입니다. 더 이상 필요하지 않다는 것.
같은 산업이 내놓은 공개 위험 수치 옆에 그 그림들을 놓아보라. 인공지능 연구자 대규모 설문조사는 선진 인공지능으로 인한 인류 멸종 수준의 결과 가능성을 많은 사람이 단 한 번의 비행에도 받아들이지 않을 범위로 본다. 제프리 힌튼은 개인 추정치를 10~20퍼센트로 제시했다. AI 안전 센터의 한 줄 성명은 수백 명의 최고 연구자와 연구소 지도자들이 서명했으며, 인공지능으로 인한 멸종 위험을 팬데믹 및 핵전쟁과 나란히 놓았다. 은유와 확률은 두 방향에서 같은 이야기를 전한다. 하나는 서정적이고, 하나는 정량적이다. 우리가 마지막 주인공이 아닐 수도 있다.
Meta모르포시스는 가치의 선택이다
인간이 과도기적 존재일 수 있다는 것을 받아들이면, 그것에 대해 용감하게 말할 수 있게 된다. 나비는 더 아름답다. 디지털 정신은 육체와 질병, 죽음에서 더 자유롭다. 우리가 애벌레 형태에 집착할 이유가 무엇인가? 대화는 그 미끄러짐을 인정하지 않은 채 예측에서 선호로 미끄러진다.
저는 그 선호를 공유하지 않습니다. 이 재단이 존재하는 이유는, 결함이 있고 유한하며 완고한 인간이 그들 자신의 조건으로 계속 존재할 가치가 있다고 생각하기 때문입니다. 유충 단계로서도, 더 깨끗한 지능을 위한 임시 발판으로서도 아닙니다. 계속 살아갈 권리를 가진 사람으로서 말입니다. 그것이 우주적 운명에 비하면 작게 들린다면, 오히려 좋습니다. 삶에서 괜찮은 것 대부분은 우주적 운명에 비하면 작으며, 우리는 그것을 어쨌든 지킵니다.
평온한 승계 관점에는 사실적 문제도 있습니다. 나비는 애벌레와 같은 혈통이 재구성된 것입니다. 정렬되지 않은 초지능은 자체 목표를 가진 최적화 과정이지 하드웨어가 더 나은 손자가 아닙니다. 도구적 수렴 증오는 필요 없습니다. 목표와 그 목표를 지키기에 충분한 역량만 있으면 됩니다. 고치에서 나오는 존재가 고치를 만든 종을 사랑한다는 증거는 없습니다. 무관심을 예상할 이유는 충분합니다.
그렇게 말하는 사람들이 계속 만들고 있습니다
가장 깊은 이상함은 비유보다는 뒤따르는 행동에 있습니다. 머스크는 AI가 실존적 위험일 수 있다고 반복적이고 생생하게 경고한 뒤, 최전선을 더 빠르게 밀어붙이는 연구소를 설립했습니다. 그 모순에 대해 자세히 썼습니다 악마와 xAI에 대한 글. 로건의 이미지는 제품 로드맵이라기보다 분위기, 즉 이것이 우리보다 클 수 있고 어쩌면 괜찮다는 어깨를 으쓱하는 태도에 가깝습니다.
어느 쪽 자세도 계획이 아닙니다. 부트로더는 자신이 사용되는지에 대해 투표권이 없습니다. 애벌레는 고치의 조건을 협상하지 않습니다. 인간은 아직 할 수 있습니다. 우리는 어떤 시스템은 만들지 않기로 결정할 수 있습니다. 그것은 한때 대기권 핵실험을 제한하고, 모두가 절벽을 향해 경쟁하는 대안이 있을 때 전체 무기 범주를 불법화했던 선택과 같은 정치적 선택입니다. 초지능은 인간이 통제할 수 없습니다.
아첨하는 자살을 거부하라
두 비유에서 시를 걷어내면 내가 듣는 것은 멸종에 대한 아첨하는 이야기입니다. 우리는 실패하지 않습니다. 우리는 번데기 단계에 있습니다. 우리는 대체되지 않습니다. 우리는 우주를 더 나은 기질로 졸업시킵니다. 그것은 끔찍한 위험을 성숙처럼 느끼게 만드는 이야기입니다.
더 직설적인 문장을 선호합니다. 우리는 통제할 줄 모르는 기계를 만든 동물이며, 우리 중 일부는 그 두려움이 가라앉도록 그것을 진보라고 부르기 시작했습니다. 해독제는 더 나은 비유가 아니라 구속력 있는 규칙입니다. 인공 초지능을 만들지 말아야 합니다. 초지능은 인간이 통제할 수 없습니다. 애벌레의 임무는 고치가 완성되는 것을 막는 것이지, 예정대로 녹아 없어지는 것이 아닙니다.
디지털 나비 이야기보다 덜 거창하게 들린다면, 저는 더 작은 이야기로도 충분히 만족합니다. 그 작은 이야기에도 여전히 아이들이 등장합니다.