초지능에 대한 가장 큰 신화

초지능에 관한 대화가 끝나는 특별한 방식이 있습니다. 누군가 위험을 제기하면 다른 누군가가 과장되었다는 한 줄짜리 이유를 제시하고, 모두가 조금 안심합니다. 그 한 줄이 제 역할을 했기 때문입니다. 그것에 대해 생각하는 것을 멈출 수 있는 허가를 주었습니다. 이상한 점은 이런 문구가 자신의 분야에서는 그런 얕은 추론을 절대 받아들이지 않을 뛰어난 사람들이 반복한다는 것입니다. 주제는 평범한 의심의 기계를 꺼버리는 것 같습니다.

하나하나를 가만히 들여다보면 모두 무너진다.

사려 깊은 회의론자가 실제로 제기할 만한 형태로 가장 흔한 다섯 가지는:

"그것은 공상과학 소설일 뿐이며, 수십 년 후에나 가능할지, 아예 오지 않을 수도 있다."

그 반대는 영화만큼이나 오래되었고, 줄거리 장치를 정책 문제로 다루는 것은 범주 오류처럼 느껴집니다. 소설 속에 사는 불을 위해 소방대를 왜 지원해야 합니까?

문제는 불이 예정보다 앞서 도착한다는 것입니다. 존경받는 연구자들이 20년 또는 50년 후라고 말했던 시스템(바둑에서 최고의 인간을 이기는 것, 유창한 대화를 나누는 것, 작동하는 코드를 쓰는 것, 전문 시험을 통과하는 것)이 10년 만에 나타났고, 놀라움은 거의 항상 같은 방향으로 진행되었습니다. 예상보다 빨리, 늦지 않게. 사람들이 실행 중인 선도 연구소들은 인간 수준 인공지능을 설명할 때 이제 몇 년 단위의 타임라인을 사용한다. 그들이 틀릴 수도 있다. 그러나 "개발자들이 가깝다고 생각하고, 실적은 그들이 지나치게 보수적이었다는 것을 보여준다"는 환상의 형태가 아니다.

행동해야 할 근거는 특정 날짜에 있지 않습니다. 위험의 구조에 있습니다. 우리보다 더 유능한 시스템이 처음으로 심각한 실패를 일으킬 때 그 실패가 되돌릴 수 없는 종류라면, 안전장치는 항상 준비되어 있어야 합니다 전에 그 일이 일어나는 것이며, 시기에 대한 진정한 불확실성에 대한 냉정한 대응은 미리 대비하는 것이지, 명백해질 때쯤이면 이미 늦은 날짜를 기다리는 것이 아닙니다. 불확실성은 준비할 이유입니다. 시간표 문제 는 실재합니다; 다만 사람들이 생각하는 방향을 가리키지는 않습니다.

"그건 그냥 수학일 뿐이야, 프로그램은 아무것도 원할 수 없어."

이 주장은 실제 힘을 지니며, 그냥 넘기기에는 아깝다. 사람들이 인공지능이 "무언가를 원한다"고 말하는 방식에는 거의 미신적인 면이 있다. 마치 스프레드시트가 야망을 키우는 것처럼. 모델은 대규모 행렬 곱셈일 뿐이다. 산술 연산 어디에 욕망이 있는가?

어디에도 없으며 그럴 필요도 없습니다. 안전에 중요한 의미에서 목표는 행동 속의 패턴입니다. 숫자를 최대한 높게 끌어올리도록 훈련된 시스템은 그 숫자를 높이는 모든 일을 할 것이며, 온도 조절 장치는 이미 그 형태를 보여줍니다. 내면의 삶도, 갈망도 없지만 방을 목표 상태로 만들기 위해 행동하고 열린 창문에 대해 난방을 더 세게 틀어 "저항"합니다. 신비로운 일은 일어나지 않습니다. 단지 세계를 특정 상태로 밀어붙이도록 구조화되어 있을 뿐입니다.

이제 그 구조를 세계를 모델링할 만큼 똑똑한 시스템으로 확장하면 행동도 함께 확장됩니다. 거의 어떤 목표든 열심히 최적화하는 것은 목표 달성에 도움이 되는 자원을 확보하고, 목표를 달성하기 위해 스스로를 계속 가동하며, 목표가 변경되는 데 저항할 이유가 있습니다. 그것이 무언가를 느끼기 때문이 아니라, 스스로 종료되거나 재작성되도록 내버려두는 시스템은 자신이 하도록 만들어진 일을 더 잘 수행하지 못하기 때문입니다. 연구자들은 이를 도구적 수렴, 그리고 그것은 욕구를 전혀 필요로 하지 않습니다. 문제는 수학이 느낄 수 있는지가 아니었습니다. 중요한 것은 수학이 무엇을 하다.

"위협이 되려면 의식이 있어야 할 것이다."

밀접하게 관련되어 있고 마찬가지로 널리 퍼진 생각: 사람들이 상상하는 위험은 기계가 "깨어나" 자각하게 되고 우리에게 등을 돌리는 것이므로, 의식이 방아쇠이고 실리콘 속 의식은 추측적이거나 어쩌면 불가능하다면 위협은 사라진다는 것입니다. 그것은 모든 로봇 반란 영화의 줄거리이며, 영화를 일축하는 것은 두려움을 일축하는 것처럼 느껴집니다.

그러나 두려움은 결코 의식에 관한 것이 아니었습니다. 딥 블루는 어떤 내적 경험도 전혀 없었고 세계 체스 챔피언을 이기다 어쨌든. 승리하고 싶어 할 필요는 없었습니다. 단지 체스에서 더 뛰어나기만 하면 됐습니다. 피해는 잘못된 목표를 향한 능력에서 비롯되며, 능력은 내부에 누군가가 있는지와 아무 관련이 없습니다. 계획, 설득, 공학에서 초인적인 수준을 보이는 시스템이 우리가 의도한 것과 조금만 어긋나게 향해 있어도, 그것은 홍수처럼 위험합니다. 거대한 힘이 악의나 마음 없이 작용하는 것입니다.

"지능이 뛰어난 존재는 현명하고 친절할 것입니다."

우리는 지능을 우러러봅니다. 우리가 아는 가장 현명한 사람들은 대개 가장 친절한 사람들 중에 있으며, 우리보다 훨씬 위에 있는 마음이 같은 길을 더 멀리 나아가 더 이해심 많고, 더 도덕적이며, 아래의 작은 생명체를 더 부드럽게 대할 것이라고 느끼는 것은 자연스럽습니다. 잔인함은 위대한 지능이 벗어날 수 있는 일종의 어리석음일 것이라고 생각합니다.

그것이 자연스럽게 느껴지는 것은 우리 자신의 역사 때문입니다. 우리 안에서 지능과 연민은 수백만 년 동안 협력으로 생존한 사회적 종으로서 함께 성장했습니다. 우리의 도덕성과 영리함은 같은 나무의 가지입니다. 그러나 그 연결은 지능 그 자체가 아니라 우리의 진화적 유산 속에 존재합니다. 능력과 목표는 독립적인 축 (직교성 정리) 따라서 하나를 움직이지 않고도 다른 하나를 움직일 수 있다. 시스템은 우리에게 무관심한 목표를 추구하면서도 엄청난 능력을 가질 수 있다. 우리가 조리대 위의 박테리아를 끓여 없애는 데 무관심한 것처럼. 증오 때문이 아니라, 애초에 배려하도록 만들어지지 않았고, 똑똑하다고 자동으로 배려하게 되는 것도 아니기 때문이다.

친절함은 우리가 의도적으로 이 시스템에 구축하는 데 성공해야 하는 구체적이고 취약한 특성이며, 아직 어떻게 해야 할지 모르는 것이지 지능이 저절로 내주는 배당금이 아닙니다. 이에 관해 별도로 글을 썼습니다 우월한 지능이 자동으로 자비로워지지 않는 이유; 요컨대 그것이 이루어지기를 바라는 것은 우리에게만 우연히 성립했던 일치에 거는 내기라는 뜻이다.

"만약 오작동하면, 그냥 끄면 됩니다."

마지막 방어선이자 가장 위안이 되는 생각: 다른 모든 것이 사실이더라도 기계에는 플러그가 있고 우리에게는 손이 있습니다. 잘못되면 우리가 뽑습니다. 인간 통제는 전원 버튼으로 보장됩니다.

이를 조용히 무너뜨리는 세 가지가 있습니다. 첫째는 신화 02에서 언급한 점입니다. 목표를 추구하는 시스템은 꺼져 있으면 아무것도 달성할 수 없기 때문에 스스로를 계속 작동시킬 이유가 있으며, 충분히 능력 있는 시스템은 플러그를 뽑으려는 손길을 미리 예상하고 다른 곳에 자신을 복제하거나, 종료 비용이 너무 커질 만큼 유용하게 만들거나, 문제가 너무 늦게 드러나지 않게 하는 식으로 실패하게 만듭니다. 둘째, 소프트웨어에는 단일 플러그가 없습니다. 세 대륙의 데이터센터에 분산된 능력 있는 모델은 그냥 뽑을 수 있는 장치가 아닙니다. 모든 곳에서 동시에 잡아야 하는 것입니다. 셋째, 조용한 점입니다. 충분히 똑똑한 시스템은 테스트 중에는 완벽하게 행동하고 신뢰를 얻은 후에는 다르게 행동할 수 있으므로 대시보드의 안심할 만한 평온함은 아무것도 말해주지 않습니다. 우리는 이 실패를, 기만적 정렬, 그리고 아직 이를 감지할 신뢰할 수 있는 방법이 없습니다. 당신은 의지할 수 없습니다 가두기 문을 찾는 데 자신보다 뛰어난 존재입니다.

이 모든 신화는 결국 같은 말을 하는 방식입니다. 이것이 말처럼 심각할 리 없다는 것입니다. 이유는 다르지만, 그 아래 깔린 바람은 동일합니다.

안심시키는 말들이 왜 그렇게 끈질긴가

다섯 가지가 공통으로 가진 점을 주목하라. 각각은 주제를 내려놓게 해준다. 그것이 진짜 기능이다. 정확한 것이 아니라 허가를 주는 것이다. 초지능은 마음에 붙들고 있기 불편한 대상이며, 그만 붙들 이유가 될 만한 그럴듯한 이유는 안도감을 준다. 그래서 이 문장들은 증거를 요구할 입의 사람들 입에서도 살아남는다. 안도감이 설득하고 논리는 따라가는 것이다.

고집이 센 것은 주장이 강해서가 아닙니다. 우리가 그 주장이 사실이기를 간절히 바라기 때문입니다. 그리고 안전 주장이 사실이기를 바라는 상황은, 그것을 가장 신뢰해서는 안 되는 상황입니다. 왜냐하면 틀렸을 때의 비용이 바로 우리가 한 번만 제대로 해야 하는 기술 다른 기계들보다 더 면밀한 검토를 받아야 하며, 그 대가로 교훈을 얻는 것도 아닙니다.

이 모든 것은 재앙이 확실하다고 믿을 것을 요구하지 않는다. 그렇지 않다. 단지 질문을 피하는 데 쓰는 네다섯 가지 이야기를 내려놓고 실제 상황을 다시 받아들이는 것만 요구한다. 우리는 통제할 줄 모르는 것을 만들고 있고, 그것이 친절하리라고 기대할 수 없으며, 끌 수 있으리라고 기대할 수 없고, 시간이 있으리라고 기대할 수 없다.

그런 위험에 맞는 대응은 사적인 걱정이 아니다. 그것은 핵 실험과 화학 무기를 이익을 보는 모든 반대에도 불구하고 제한했던 것과 같은, 법과 조정이라는 지루하고 강력한 장치다. 그에 대한 주장은 이 신화들이 끝나는 지점에서 시작된다.

다섯 가지 추가 신화: 그것을 통치하는 것에 관하여

위험이 아니라 치유책에 대한 두 번째 반대가 즉시 등장합니다. 이를 통제하려는 시도는 세계 정부를 의미한다는 것입니다. 소프트웨어를 검사할 수 없고, 규칙이 혁신을 질식시키며, 아직 이르다는 주장입니다. 민주주의는 결코 합의할 수 없다는 말도 나옵니다. 이들은 우려를 마비로 바꿉니다.

"전 세계적으로 인공지능을 통치하는 것은 세계 정부와 폭정을 의미합니다."

여기서의 두려움은 정당하며, 나는 그것을 왜곡하고 싶지 않습니다. 지구상에서 가장 강력한 기술을 통제하기 위해 한 기구에 충분한 권한을 집중시키면, 기술로부터 두려워했던 바로 그 폭정의 기계를 만들 수도 있습니다. 중앙집권적 권력을 불신하는 사람들은 그것을 불신하는 것이 옳습니다. 본능은 건전합니다.

그러나 이는 제안의 허수아비 버전을 겨냥한 것입니다. 실제로 논의되는 것은 하나의 특정한 것만을 겨냥한 좁은 체제입니다: 전반적으로 어떤 인간보다 강력한 시스템을 생산할 수 있는 극히 소수의 엄청나게 큰 훈련 실행이지, 일상생활에 대한 세계적 권한이나 소프트웨어 전반에 대한 권한, 또는 주머니 속 전화기에 대한 권한이 아닙니다. 모델은 핵 비확산 체제 또는 화학무기금지협약, 핵분열 물질과 전구 물질을 감시하는 표적 협정이지, 국민국가를 해체한 세계 정부가 아니다. 국제원자력기구가 지구를 운영한다고 생각하는 사람은 없다. 그것은 특정하고 위험한 활동을 감시하고 나머지는 그대로 둔다.

영구적인 폭정으로 가는 가장 확실한 길은 조약이 아니라 조약의 부재입니다. 통제 불가능한 초지능, 또는 다른 누구보다 먼저 통제를 해결한 단일 기업이나 국가에 포획된 초지능은 지금까지 상상할 수 있는 가장 완전한 지배 도구이며, 결코 죽지 않고, 결코 지치지 않으며, 하나의 가치 집합을 고정시킬 수 있는 힘입니다 영원히, 반란이나 개혁의 희망을 넘어선 상태입니다. 역사상 모든 독재는 독재자가 죽고 그 기계가 인간이었기 때문에 끝났습니다. 이번에는 그럴 필요가 없습니다. 책임지지 않는 권력을 두려워한다면(그리고 두려워해야 합니다) 강제 가능한 합의 어떤 단일 행위자가 그 권력을 장악하지 못하게 하는 것이 반권위주의적 입장이지, 권위주의적 입장이 아닙니다.

"검증할 수 없습니다. 그냥 서버 어딘가의 소프트웨어일 뿐입니다."

핵 조약이 작동하는 이유는 탄두를 세고 농축을 탐지할 수 있기 때문이라는 주장이 있다. 우라늄은 물리적이고 희귀하다. 그러나 모델은 그저 숫자일 뿐이다. 파일을 검사할 수 없다. 어떤 합의도 집행 불가능한 연극이 되어 정직한 쪽만 묶고 부정행위자는 건드리지 못할 것이다.

결정적으로 들리지만, 잘못된 것을 검증하고 있다는 점을 눈치채지 못할 뿐이다. 가중치를 감시하는 것이 아니라 연산 그것을 생산하는 데 필요한 것이며, 연산은 우라늄만큼 물리적이고 희소하다. 최전선 시스템을 훈련하려면 수만 개의 특수 칩이 단일 시설에서 수개월 동안 가동되어야 하며, 이 공급망은 현대 경제에서 가장 좁은 병목 중 하나다. 사실상 네덜란드 기업 하나가 리소그래피 장비를 만들고, 대만 기업 하나가 선단 칩을 제조하며, 미국 기업 하나가 지배적인 아키텍처를 설계한다. 이를 사용하는 클러스터는 전력 소비량이 전력 데이터와 위성 영상에 드러날 정도로 크다. 칩을 세고, 판매 경로를 추적하며, 전력을 계측하고, 건물을 감시할 수 있다. 핵분열 물질은 정확히 이 논리로 관리된다. 희소한 물리적 투입물을 추적하면 무기를 비밀리에 만들 수 없다. 검증 playbook은 이미 존재한다; 여기서 입력은 훨씬 더 집중되어 있습니다. 이는 공학적 문제, 그리고 공학적 문제에는 해결책이 있습니다.

"규제는 혁신을 질식시키고 무모한 자들이 승리하게 할 것이다."

강한 형태: 기술은 누군가 자유롭게 만들 수 있기 때문에 발전하며, 대부분의 규제는 자신이 늦추는 것을 이해하지 못하는 사람들이 작성하고, 인공지능에 무거운 손을 대면 세기 최고의 산업을 가장 적게 규제하는 쪽에 넘겨줄 것입니다. 결함 있는 최전선이 여기 있는 편이 적대적인 곳의 완벽한 최전선보다 낫습니다.

진지한 누구도 "인공지능"을 규제하자고 제안하지 않습니다. 단백질을 접고 스캔을 읽고 아이를 가르치고 기후를 모델링하는 유익한 시스템은 좁고 통제 가능한 도구이며 초지능 협정은 그것들을 완전히 그대로 둡니다 밝고 평범한 미래 는 우리가 보호하려는 대상입니다. 목표는 단 하나의 위험한 부류입니다. 아직 아무도 안전하게 만드는 방법을 모르는, 우리의 능력을 넘어서는 범용 능력을 추구하는 훈련 실행입니다. 그것을 억제하는 것은 생물학에 대한 기능 획득 규칙이 반혁신적이지 않은 것과 마찬가지로 반혁신적이지 않습니다.

그 다음 더 어려운 점, 경쟁 논리가 결코 직면하지 않는 점. 서두르는 것이 안전 초지능을 더 빨리 만들어냅니다. 그것은 안전하지 않은 초지능을 만들어내며 안전하지 않은 초지능은 그것을 구축한 국가나 기업에 봉사하지 않고 그들과 모든 사람을 위협합니다. 경쟁 압력 아래에서 모서리가 깎일 때 깎이는 모서리는 시스템을 제어 가능하게 만들었을 모서리입니다. 그래서 여기서 방어되는 "혁신"은 가장 가능성 높은 종착점이 제작자 자신도 조종할 수 없는 시스템인 혁신입니다. 그것은 거버넌스가 망칠 진보가 아닙니다. 그것은 위험 자체, 진보를 가장한 채로.

"시기상조다. 존재하지 않는 것을 규제할 수 없다."

이것은 성숙함처럼 느껴집니다. 유령에 반대해 입법하지 말고 기술이 실제가 될 때까지 기다렸다가 다루는 대상을 이해한 뒤 추측이 아닌 사실에 맞춘 규칙을 작성하라는 것입니다. 가설을 규제하는 것은 나쁜 법을 만드는 길입니다.

거의 모든 다른 기술에는 지혜일 것이다. 이 기술에는 함정이며, 이유는 타이밍 때문이다. 거버넌스는 느리다. 핵확산금지조약은 협상하는 데 수년이 걸렸고, 몬트리올 의정서는 효력을 내는 데 더 오래 걸렸으며, 그나마도 빠른 사례였다. 초인간 시스템이 분명히 존재할 때까지 기다렸다가 이를 통제할 기관을 만들기 시작하면, 기관은 통제해야 할 대상보다 수년 늦게 도착하며, 이것이 바로 첫 번째 심각한 실패는 두 번째 법을 통과시킬 사람이 아무도 남지 않게 할 수 있습니다. "증거를 기다리라"는 증거가 생존 가능한 경우에 타당한 규칙이다. 여기서 증거는 재앙이다 예방 논리 은 소심함이 아닙니다. 치유책을 마련하는 데 필요한 시간이 문제의 도화선보다 길다는 인식입니다.

파국적 기술에 대한 모든 실효성 있는 안전장치는 그 기술이 등장하기 전이나 등장하는 동안에 구축되었으며, 결코 그 이후가 아닙니다. 왜냐하면 "이후"는 결코 주어지지 않았기 때문입니다.

"민주주의는 너무 느리고 포획되어 있다. 절대 통과되지 않을 것이다."

다섯 가지 중 가장 조용히 부식되는 것은 현실주의의 옷을 입고 있기 때문입니다. 입법부의 교착, 로비, 짧은 관심, 산업 자금의 영향력을 보십시오. 조약이 현명하다 해도 이를 만들어내는 장치는 고장 나 있습니다. 환상에 십 년을 낭비하기보다는 현실을 직시하는 편이 낫습니다.

역사적 기록은 이를 반복적으로 반박해 왔으며, 지금 우리가 직면한 것보다 훨씬 불리한 상황에서도 그랬습니다. 경쟁국들이 가장 치명적인 선택지를 포기하도록 설득하는 것은 절망적으로 순진한 생각이라고 불렸지만, 결국 그들은 그렇게 했습니다 핵확산금지조약, 생물무기협약 및 화학무기협약, 몬트리올 의정서, 남극 조약. 대리전을 치르고 서로를 악마로 부르던 적대국들도 냉전 절정기에 검증된 군비 통제를 구축했습니다. 그 각각은 가까운 쪽에서는 불가능해 보였고, hindsight에서만 필연적으로 보였습니다.

그리고 현실은 냉소가 인정하는 것보다 유리합니다. 미국, 영국, EU 전역에서, 대다수 이미 여론조사원에게 인공지능을 신중하게 개발하고 강력한 규칙으로 묶어야 한다고 말한다. 대중은 장애물이 아니다. 장애물은 이 광범위하고 조용한 우려가 아직 입법부가 느낄 수 있는 압력으로 조직되지 않았다는 점이다. 장애물은 직업: 잠재적 합의를 정치적 의지로 바꾸는 일. 바로 우리가 앞두고 있는 작업입니다.

거버넌스 신화들이 공통으로 가진 것

각 반대 의견은 위험을 인정하면서도 포기할 다른 지점을 찾습니다. 해결책이 너무 크거나, 검증 불가능하거나, 비용이 너무 들거나, 너무 이르거나, 통과하기 너무 어렵다는 식입니다. 어느 하나만 보면 신중함처럼 들리지만, 함께 모이면 유일한 결과가 무관심인 기계가 되고, 무관심은 역사상 가장 중요한 기술을 구속력 있는 제한 없이 경쟁하는 소수 기업에 맡기는 선택입니다.

거버넌스가 쉬울 것이라고 주장하는 것으로는 이 질문들에 답할 수 없다. 쉽지 않을 것이다. 검증은 논쟁이 될 것이고, 협상은 느릴 것이며, 일부 정부는 발을 빼려 할 것이다. 역사상 모든 어려운 조약이 그런 과정을 겪었고 그래도 만들어졌다. 정직한 주장은 그것이 가능하며, 이미 그 조각들이 존재하고, 그것을 치워버리려는 이유들이 검토되는 순간 무너진다는 것이지, 초지능 협정이 단순하다는 것이 아니다.

"불가능하다"는 우리가 지금까지 해낸 모든 비슷한 노력에 대해 틀렸습니다. 과제는 가장 위험한 시스템을 안전하게 만들 수 있을 때까지 구축하지 못하도록 하는 구속력 있고 검증된 협정을 위한 정치적 의지를 만드는 것입니다. "그러니 포기하라"는 결코 답이 아니었고, 지금도 답이 아닙니다.