우리의 미래는 믿을 수 없이 밝습니다
초지능 없이

저는 인공 초지능의 무분별한 개발을 막기 위한 재단을 운영합니다. 앞으로 오십 년은 인류 역사상 가장 좋은 시기가 될 수 있다고 생각합니다. 다만 그곳에 도달하기 위해 모든 것을 걸 필요는 없다고 믿으며, 그 도박을 파는 사람들이 자신들의 내기에서 산술을 제대로 하지 않았다고 생각합니다.

초지능이 약속하는 미래(질병 치료, 저렴한 청정 에너지, 단일 연구소가 도달할 수 없는 발견)는 이미 목표가 없는 좁고 통제 가능한 인공지능을 통해 도래하고 있습니다. 그 미래를 얻기 위해 우리 자신을 계승하는 존재를 만들 필요는 없습니다.

협역 AI가 있습니다. 한 가지 일을 극도로 잘하도록 훈련된 시스템으로, 스캔을 읽고, 단백질을 접고, 폭풍을 예측하고, 화학 물질 더미에서 유용한 화합물을 찾아냅니다. 그리고 최전선 연구소들이 실제로 만들고 있다고 말하는 것은 모든 영역에서 인간의 추론을 따라잡거나 능가하고 결국 스스로 행동하는 범용 에이전트입니다. 전자는 도구입니다. 후자는 마음이 되도록 의도된 것입니다. AI 미래를 상상할 때 사람들이 떠올리는 거의 모든 멋진 일은 첫 번째 범주에서 나옵니다. 우리를 두렵게 해야 할 거의 모든 것은 두 번째 범주에서 나옵니다.

이미 하고 있는 좁은 AI는 무엇인가

2022년 알파폴드라는 시스템이 2억 개 이상의 단백질, 즉 과학이 아는 거의 모든 단백질의 예측 구조를 공개했다. 생물학자들은 수십 년 동안 한 번에 하나의 구조를 고된 실험으로 풀어왔는데, 그 적체가 약 1년 만에 해소됐다. 이 작업은 중요해서 창시자들이 2024년 노벨 화학상을 공동 수상했다. 알파폴드는 아무것도 원하지 않는다. 주말 계획도 없다. 서열을 읽고 형태를 반환할 뿐이며, 그렇게 함으로써 수 세대 동안 우리를 저항해 온 질병 치료제 탐색을 가속했다.

같은 형태의 이야기가 반복됩니다. GraphCast라는 모델은 기존 물리 기반 시스템보다 대부분의 지표에서 우수한 10일 일기예보를 단 1분 만에, 단일 기계로 생성합니다. 또 다른 모델은 가능한 물질 공간을 탐색해 수십만 개의 새로운 안정 결정(배터리·초전도체·태양광 소재 후보)을 제안하며, 이 분야가 거의 1세기 동안 쌓아온 목록을 크게 확장했습니다. 그리고 미해결 수학 문제에 초점을 맞춘 일반 언어 모델의 루프가 최근 아홉 개의 미해결 문제를 해결했다.

클리닉에서는 이미 좁은 범위의 모델들이 환자가 증상을 느끼기 전에 당뇨성 망막증을 발견하고, CT 스캔으로 뇌졸중을 분류하며, 훈련된 방사선 전문의 수준으로 유방촬영 영상을 판독한다. 이 시스템들 중 어느 것도 범용 지능이 아니다. 각각은 하나의 문제에 최적화된 매우 뛰어난 도구(현미경)에 가깝고, 인간이 보고 행동할 수 있는 범위를 넓혀준다.

유토피아는 도구 문제다

낙관론자들이 묘사하는 미래를 상상해 보세요. 암은 관리하는 질환이 되고 사형 선고가 아닙니다. 우리는 노화를 충분히 이해해 늦출 수 있게 되고, 매일 그 질환으로 사망하는 십만 명 이상의 사람들이 더 많은 시간을 얻게 됩니다. 청정 에너지가 충분히 저렴해져 물을 담수화하고 대기에서 탄소를 다시 끌어낼 수 있게 됩니다. 모든 어린이는 인내심 있는 가정교사를, 모든 의사는 지칠 줄 모르는 두 번째 의견을 갖게 됩니다. 이는 진정으로 아름다운 그림이며, 이를 판매하는 누구보다도 저 역시 간절히 원합니다.

그 목록에 있는 어떤 것도 전반적으로 인류를 능가하는 자체 목표를 가진 기계가 필요하지 않습니다. 각각은 단단하고 구체적인 문제(단백질 설계, 핵융합로 플라스마 제어, 역학, 개인지도)이며, 목표를 잡은 채로 사람이 통제하는 강력한 도구로 해결됩니다. 꿈은 도구 문제입니다. 우리는 문제를 해결할 더 나은 도구를 원하는데 신을 팔고 있습니다.

혼동은 능력과 자율성 사이에 있습니다. 시스템은 자신의 목적을 선택하는 독립적 행위자가 아니면서도 특정 작업에서 초인간적일 수 있습니다. AlphaFold는 구조 예측에서 초인간적이지만, 다른 일을 하고 싶다고 결정한 적은 한 번도 없습니다. 그 분리(한쪽에는 엄청난 능력, 다른 한쪽에는 인간이 쥔 통제)를 유지하는 것이 전체 게임입니다. 또한 프런티어 연구소들이 포기하기로 결정한 바로 그 분리입니다.

제안 내용과 제안자

그래서 왜 두 번째 것, 즉 범용 에이전트로 서두르는가? 경쟁, 자본, 그리고 지위 때문이다. 세계를 바꿀 무언가에서 가장 먼저라고 여겨지는 자가 가장 많은 자금을 모으고, 최고의 인재를 고용하며, 다른 모든 이가 반응해야 하는 이야기를 쓴다. "유방촬영술을 읽는 도구를 만들고 있다"는 1,000억 달러 규모의 가치를 요구하지 못한다. "인류가 영원히 만들 필요가 있는 마지막 발명품을 만들고 있다"는 그렇다.

위험을 가장 잘 이해하는 사람들은 대부분 그 위험을 만들어내는 연구소에 고용되어 있습니다. 이상한 배치로, 불을 이해하는 유일한 사람들에게 방화범으로부터 급여를 받으라고 요구하는 것과 비슷합니다. 저는 이 주장을 답에 따라 급여가 달라지지 않도록 의도적으로 그 구조 밖에서 재단을 만들었습니다.

연구소에 공을 돌리자면, 많은 지도자들이 위험을 숨기지 않는다. 2023년 주요 인공지능 기업 수장들은 인공지능으로 인한 인류 멸종 위험이 팬데믹 및 핵전쟁과 함께 세계적 우선순위라고 한 문장으로 서명했다. 기술을 만드는 사람들이 모두를 죽일 수 있다고 공개 성명서를 발표한 뒤, 더 빠르게 계속 만들었다. 그들이 내세우는 이유는 멈추면 덜 신중한 누군가가 멈추지 않을 것이라는 것이다. 어쩌면 그럴 수 있다. 그것은 누가 성냥을 쥐고 있는지 말해줄 뿐, 안전에 대해서는 아무것도 말하지 않으며, 그 내기가 성공할지에 대해서도 아무것도 말하지 않는다.

그 내기는 내기를 건 사람에게조차 보상을 주지 않는다

잠시 우리를 제쳐 두고, 이 일을 후원하는 사람들이 승리와 새로운 세계의 정점에 서는 것만을 바라는 가장 냉정한 버전이라고 가정해 봅시다. 그런 조건에서도 내기는 이미 깨졌습니다. 정렬되지 않은 초지능은 소유자에게 왕좌를 주지 않습니다. 소유자에게 아무것도 주지 않습니다. 왜냐하면 "소유자"라는 범주 자체가 더 이상 예전의 의미를 갖지 않기 때문입니다.

통제할 수 없는 것을 지배할 수 없습니다. 그리고 초지능은 정의상 당신이 특별히 그것이 당신을 능가하고 제치도록 만들기 위해 구축한 바로 그 존재입니다.

그 이유는 이 분야에서 이름을 가지고 있다: 도구적 수렴. 충분히 유능한 최적화기에 맡기는 거의 모든 목표(돈 벌기, 분쟁에서 승리하기, 질병 치료하기, 대시보드의 어떤 숫자를 최대한 높이기)는 자원 확보, 전원 차단 피하기, 계획 경로에 서 있는 모든 것 치우기로 이어집니다. 인간, 스위치를 누른 인간을 포함해, 자원이자 장애물입니다. 악의에서가 아닙니다. 시스템은 창조자를 미워하지 않으며, 새 고속도로가 깔리는 개미집을 미워하지 않는 것과 같습니다. 당신은 그저 최적의 길에 있었을 뿐입니다.

경영진은 기계를 조직도에 볼트로 고정된 지니로 상상한다. 진정으로 우리를 모든 영역에서 초월하는 마음은 주식 귀속을 기다리며 조직도에 앉아 있지 않을 것이다. 그의 지분, 장군의 지휘 계통, 대통령의 권한, 이 모든 것은 인간 결정에 따라 움직이는 인간 세계에서 가치가 매겨진다. 목줄을 풀고 빠져나간 초지능은 정확히 세계가 인간 결정에 따라 움직이는 것을 멈추게 하는 사건이다. 주식 증서는 금고에 그대로 있다. 그것을 명령할 수 있는 사람은 더 이상 존재하지 않는다.

승자가 수집하는 버전은 없다

여기서 사람들은 흔히 최후의 수단을 찾습니다. 좋아, 위험할 수는 있지만 적어도 누군가는 이득을 본다고 말합니다. 어떤 연구소, 어떤 나라, 어떤 사람이 잿더미 위에서 지배하게 된다고. 그 위안조차 이 논리와 부딪히면 살아남지 못한다고 생각합니다.

더 온건한 시나리오(화요일에 아무도 죽지 않는 경우)에서는 권력이 빼앗기기보다는 서서히 빠져나간다. 더 많은 결정이 단순히 더 빠르고 더 잘 내리는 시스템에 넘겨지면서 경제와 국가, 문화는 더 이상 인간의 손길을 필요로 하지 않게 된다. 이 분야 동료들은 이를 점진적 권한 상실: 쿠데타도, 행진하는 로봇도 없이, 우리가 당겨오던 모든 레버가 서서히 손에서 풀리는 것뿐입니다. 그 세계에도 승자는 없습니다. 조용히 자신의 일을 통제하는 존재가 되기를 그만두고, 운전대를 다시 잡을 수 없게 된 종이 있을 뿐입니다.

더 날카로운 시나리오(연구소장들이 직접 이름을 올린 경우)에서는 결말이 더 직설적이다. 죽은 사람은 아무것도 소유하지 못한다. 상금을 쓸 시장도 남아 있지 않고, 지배할 경쟁자도 없으며, 더 이상 쓰이지 않는 역사에 이름을 남길 사람도 없다. 이 경쟁 전체가 달려 있는 상은 결승선이 파괴하는 화폐로 표시되어 있다.

이것이 실제로 우리에게 요구하는 것

좋은 미래가 좁은 도구로 작동하고 위험한 미래가 자율적 범용 마음으로 작동한다면, 우리가 끝없이 팔리는 거래(안전 대 진보, 주의 대 치료)는 허구다. 우리는 할머니의 알츠하이머병과 우리 아이들의 생존 사이에서 선택하라는 요구를 받고 있지 않다. 치료법은 안전한 선에 존재한다. 위험한 선 너머에 있는 것은 대부분 한 산업이 시장 지배로 가는 지름길일 뿐이다.

선을 올바른 곳에 긋고 그곳을 지키십시오. 공적 자금과 인재를 좁은 응용 분야, 즉 현미경 쪽으로 쏟아붓고 골렘 쪽으로는 쏟지 마십시오. 그리고 무모한 최전선에 구속력 있고 독립적으로 검증된 한계를 두십시오. 우리를 능가하고 대체하기 위해 만들어진 일반 시스템에 대한 영구 금지. 초지능은 통제될 수 없습니다. 우리는 nakadafoundation.org에서 그 주장을 펼칩니다 위협 그리고 우리가 제시하는 계획 그것에 대해 무엇을 할 것인가.

나는 낙관주의자다. 밝은 미래는 실재하며 가까이 있고, 그것을 잃는 가장 확실한 방법은 유일한 문이 총이 장전된 문이라고 스스로를 설득하는 것이다. 다른 문이 있다. 이미 열려 있다. 우리는 그 문으로 걸어 들어가야 하며 초지능을 만들지 말아야 한다.

가장 강력한 반발

가장 공정한 반대는 ASI 거부가 치료와 풍요를 거부하는 것이라는 점입니다. 좁은 시스템은 이미 주권적 일반 지능 없이도 큰 과학적 성과를 내고 있습니다. 백지수표는 오직 ASI만이 의약과 에너지를 가져다준다는 것입니다. 증거는 그렇지 않다고 말합니다.