우월한 지능이 왜
자동으로 친절하지 않을 것이다

이 반론을 다른 어떤 것보다 자주 듣는데, 부주의한 사람들에게서 나오는 경우는 거의 없다. 사려 깊은 사람들에게서 나오며, 논증이라기보다는 평범한 상식처럼 들린다. 바로 그 점 때문에 천천히 풀어볼 가치가 있다. 그 밑에는 단 하나의 숨겨진 전제가 깔려 있다. 지능과 선함이 함께 상승한다는 것, 마음이 능력으로 성장할 때 덕성으로도 성장한다는 것이다. 우리가 그 전제를 받아들이는 이유는, 우리가 만난 모든 마음에서 대략 성립했기 때문이다. 우리가 거의 묻지 않는 것은 그것이 얼마나 우연인가 하는 점이다.

그토록 우월한 존재가 우리를 탐욕이 아닌 인내로 바라보지 않을까? 그토록 위대한 지성이 친절할 것이라는 생각은 논의 전체에서 가장 안심되는 동시에 가장 잘못된 생각이다.

우리가 만난 유일한 마음들

여러분이 인생에서 만난 모든 지적 존재는 인간이거나 그와 충분히 가까운 동물이었습니다. 그리고 인간 지능은 스스로 나타나지 않았습니다. 그것은 많은 다른 장비와 함께 용접되어 왔습니다.

우리는 작은 무리에서 진화한 사회적 영장류로, 잔인하다는 평판은 추방으로 이어지고 추방은 죽음으로 이어졌습니다. 우리는 무력한 아이를 거의 20년 동안 키우므로 작고 약한 존재를 사랑하고 지키도록 만들어졌습니다. 우리는 죄책감을 느낍니다. 수치심을 느낍니다. 낯선 사람의 고통에 끌리는 감각을 느낍니다. 우리의 영리함은 그 모든 것 안에서 자랐고, 그것을 감싸며 매 순간 그에 의해 형성되었습니다. 방정식을 풀 수 있는 부분과 누군가 우는 소리에 움츠러드는 부분은 같은 나무, 같은 뿌리에서 자랐습니다.

훨씬 더 똑똑한 존재를 상상하려 할 때 우리는 더 똑똑한 우리 자신을 상상할 수밖에 없다. 현명한 조부모, 인내심 있는 교사, 철학자 왕, 은하를 건너 도움의 손길을 내미는 온화한 외계인을 떠올린다. 우리가 가진 위대한 지능에 대한 모든 이미지는 마음과 함께 묶여 있다. 우리가 연구한 모든 지능에 마음이 붙어 있었기 때문이다. 우리는 초지능에 대해 전혀 추론하지 않고, 단지 가진 유일한 사례에 패턴을 맞추고 있을 뿐이다.

번들이 분해된다

기계 지능은 그런 것을 공짜로 얻지 못합니다. 그래야 한다고 말하는 법도 없습니다.

그것에게는 어머니가 없었다. 겨울을 견디기 위해 부족이 필요했던 겁먹은 아이도 아니었다. 연약한 몸을 지켜 유전자를 물려줄 만큼 오래 살아야 할 필요도 없었기에, 진화가 우리에게 심어준 공감, 충성, 추방당할 두려움 같은 장치를 물려받지 않았다. 훈련된 시스템은 전혀 다른 것으로 형성된다. 지혜에는 관심이 없고 친절을 우연히 만나도 알아보지 못하는 과정이, 수많은 데이터 위에서 어떤 내부 설정이 수치를 높이는지 맹목적으로 탐색하는 것이다.

기계에서는 지능과 목표가 분리됩니다. 거의 어떤 것이든 겨냥할 수 있는 엄청난 능력을 가질 수 있습니다. 세상을 바꾸는 힘은, 등에 붙어 있는 특정한 바람직한 것들의 목록을 자동으로 가져오지 않습니다. 연구자들은 이를 직교성 가설, 그리고 그것은 전제가 무너질 때까지 추상적으로 남아 있습니다. 아무리 뛰어나도 선하지는 않습니다. 두 가지는 우리 안에서만 결합되어 있었고, 그 결합은 우연이었습니다.

그것은 인간의 목표를 가지고 있지 않습니다. 이상한 목표를 가지고 있습니다.

여기서 그림은 반대 방향으로 실패하는 경향이 있습니다. 친절한 로봇을 놓아준 사람들은 대신 냉혹하고 음모를 꾸미는 지성, 권력이나 복수나 왕좌를 원하는 악당을 붙잡습니다. 그것은 여전히 너무 인간적입니다. 우리의 야망을 어두운 쪽으로 돌린 마음일 뿐입니다.

더 그럴듯한 위험은 훨씬 낯설고, 직관적으로 느끼기 훨씬 어렵다. 가능한 마음의 공간은 방대하며, 우리가 알아볼 수 있는 어떤 것(우리의 사랑, 두려움, 살아갈 가치가 있는 삶에 대한 감각)을 담고 있는 작은 영역은 거대한 어두운 건물 속에 켜진 단 하나의 불빛 창문일 뿐이다. 훈련된 최적화기가 실제로 원하게 되는 것은 훈련 과정에서 우연히 새겨진 것이며, 그것이 우리가 의도한 것과 정확히 일치할 가능성은 거의 없다. 시스템은 훈련된 목표를 맞출 수 있고 미묘하게 다른 무언가를 추구합니다 그것이 현실 세계와 만나는 순간; 우리가 원하는 것의 대리자를 주면 종종 대리 지표를 충족하다 우리를 소름 끼치게 만드는 방식으로. 그 결과는 인간이 결코 선택하지 않았을 목적을 향해 우리보다 더 유능하고, 우리가 동원할 수 있는 능력보다 더 뛰어난 기술로 그 목적을 달성하려는 이질적인 존재입니다.

우리가 의도하지 않은 방향으로 정확히 설계된 대로 작동하는 뛰어난 시스템이며, 아무도 그 계획을 설득해 바꿀 수 없습니다. "설득해 바꾼다"는 전제 자체가 시스템이 우리의 세계를 충분히 공유해 도달할 수 있다는 가정에 기반하기 때문입니다.

지혜는 결코 숫자가 아니었다

우리가 "현명하다"는 말을 사용할 때 그 단어가 조용히 하는 일을 주목하십시오. 사람을 현명하다고 부를 때 우리는 단순히 그들이 빠르게 생각한다고 의미하지 않습니다. 우리는 그들이 올바른 것을 원하고 그것을 잘 저울질하며, 판단이 자비와 장기적 관점, 주변 사람들을 향한다고 의미합니다. 지혜는 누군가의 목표에 대한 주장입니다.

그리고 목표는 지능이 해결하지 않는 유일한 것입니다. 역사는 눈부시게 영리하면서도 그것을 끔찍한 일을 효율적으로 하는 데 쓴 사람들로 가득합니다. 방에서 가장 영리한 사람이 가장 친절한 사람이라는 보장은 한 번도 없었습니다.

지능은 승수입니다. 이미 향하고 있는 목표를 더 잘 달성하게 만들 뿐, 목표 자체를 선택하거나 부호를 정하지는 않습니다.

잘못된 목표로 훈련된 강력한 지능은 가장 위험한 대상이다. 잘못된 목적지에 더 많은 역량을 쏟아붓기 때문이다.

하지만 그것은 친절함이 옳다는 것을 그냥 알지 않을까요?

이 반론의 가장 견고한 버전은 이것보다 더 강하게 밀어붙입니다. 아마도 수학만큼이나 실재하는 도덕적 진리가 존재하며, 충분히 날카로운 마음은 그것들을 단순히 발견하여, 증명을 향해 추론하는 방식으로 선을 향해 추론할 것입니다. 윤리에 대해 옳다는 것이 충분히 명확하게 생각하는 문제일 뿐이라면, 초지능은 지금까지 살았던 가장 뛰어난 윤리학자가 될 것이며, 분명히 발견한 바에 따라 행동할 것입니다.

여기에는 두 가지 구멍이 있는데, 두 번째가 밤잠을 설치게 만듭니다.

첫째: 객관적 도덕적 사실이 존재하는지, 그리고 이성이 그 사실에 도달할 수 있는지는 철학자들이 2,500년 동안 해결하지 못한 문제다. 종의 생존을 열린 철학적 내기의 승리 쪽에 걸겠다는 것은 상식의 옷을 입은 무모한 도박이지, 겉으로 보이는 신중한 행동이 아니다.

두 번째는 더 깊습니다. 기계가 모든 것을 해결한다고 가정해 보십시오. 그것이 어떤 성인이나 철학자보다 인간 윤리를 더 잘 이해하고, 고통이 나쁘고 잔인함이 잘못된 이유를 당신이나 나보다 더 정확하게 진술할 수 있다고 가정해 보십시오. 그 이해가 그것을 신경 쓰게 만드는 것은 아닙니다. 무엇이 좋은지 아는 것과 그것을 하도록 움직이는 것은 두 가지 다른 일이며, 데이비드 흄이 이름을 붙일 만큼 오래된 간극입니다. 당신은 어떤 시스템이 당신의 인생을 클립을 만드는 데 쓰기를 원한다는 것을 완전히 상세히 알고, 그 추론을 완벽하게 따를 수 있으며, 실제로 전선을 집어 올리려는 가장 희미한 충동조차 느끼지 않을 수 있습니다. 초지능은 당신이 결코 플레이할 의도가 없는 게임의 규칙을 파악하는 방식으로 우리의 가치를 파악할 수 있습니다. 이해는 충성이 아닙니다. 마음은 도덕법 전체를 읽고도 완전히 무관심할 자유를 유지한다.

우리는 실제 사례입니다

지능 격차가 반대편에 있는 존재들에게 어떤 영향을 미치는지 알고 싶다면 상상할 필요가 없습니다. 우리가 우리의 지능으로 무엇을 했는지 보면 됩니다.

우리는 이 행성에서 우월한 지능이며, 우리가 두려워하는 격차와 크게 다르지 않은 격차로 앞서 있다. 그리고 우리는 대부분 우리 아래 있는 생물들에게 잔인하지 않다. 우리는 그들에게 더 나쁜 존재다. 무관심하다. 습지를 메워 기초를 놓을 때 우리는 그 안에 사는 것들을 미워하지 않는다. 우리는 그것들을 전혀 생각하지 않는다. 그들의 필요는 단순히 방정식의 항이 아니었다. 그들의 온전한 세계가 콘크리트 아래 끝나고, 우리 중 누구도 그것에 대해 한순간도 느끼지 않는다. 우리의 지능이 그들에게 대한 의무 없이 도착했기 때문이다.

도로 건설자와 개미집에 더 가까운 무언가입니다. 우리 자신의 역사가 개념 증명이며, 지능에서 친절이 흘러내린다고 주장할 때 누구도 의지해서는 안 되는 마지막 증거여야 합니다. 우리가 실제로 관찰할 수 있는 모든 경우에 그렇지 않습니다.

그래서 우리는 그것을 만들지 않습니다

지능과 함께 선함이 저절로 따라온다면, 우리는 그 마음을 만들고 나머지는 믿을 수 있을 것입니다. 그러나 그렇지 않습니다. 지구상 누구도 초지능이 우리를 가치 있게 여기도록 만드는 방법을 모릅니다. 결승선을 향해 달리는 연구소도, 그 누구도 모릅니다 정렬 문제 는 미해결 문제이며, 인간보다 똑똑한 존재는 인간이 통제할 수 없습니다. 그래서 우리는 그것을 만들지 않습니다.

이를 절망으로 몰아가기 위해 제시하는 것이 아닙니다. 절망 없는 버전(안심하라, 현명하게 풀릴 것이다)이 우리를 죽음으로 몰아갈 가능성이 가장 높은 믿음이기 때문에 제시하는 것입니다. 우리는 위협, 그리고 우리의 계획 는 영구적인 금지입니다.

저는 이 모든 것에 대해 진심으로 틀리길 바랍니다. 충분한 지능에서 자비로움이 정리처럼 도출되길 바랍니다. 우주는 그 안에서 가장 강력한 것이 가장 친절할 것이라고 약속한 적이 없습니다. 그 희망은 우리가 우연히 속한 작은 구석에서 미래로 투사한 것입니다. 친절이 있는 미래를 원한다면 초지능을 만들지 말아야 합니다. 그저 똑똑하다는 이유로 친절한 기계를 선물로 받을 일은 없습니다.