초당 2억 개의 포지션. 1997년 5월 IBM의 딥 블루가 게리 카스파로프를 이길 때 체스를 처리하던 속도다. 나는 그 경기를 계속 떠올리는데, 당시와 지금 우리가 기계를 어떻게 오해하는지를 보여주는 명확한 사례이기 때문이다. 지금은 훨씬 더 많은 것이 그 답에 달려 있다. 카스파로프는 자신이 체스를 두고 있다는 사실조차 말할 수 없는 기계에게 졌다. 왜 그런지, 그리고 왜 그것이 기계를 위험하게 만들지 않았는지를 이해하는 것은 지난주에 나온 모델에 대해 쓰여진 대부분의 글보다 가치 있다.
개리 카스파로프는 자신의 세대, 그리고 어떤 세대의 가장 강한 선수였으며, 딥 블루라는 프로그램에 3.5 대 2.5로 패배했습니다. 다음 날 아침 헤드라인은 종말에 관한 것이었습니다: 인간 우위의 끝. 거의 30년이 지난 지금도 그 경기는 여전히 가르칠 것이 있으며, 그 헤드라인이 말한 것과는 정반대에 가깝습니다.
단 하나의 일에만 초인적인 기계
딥 블루는 카스파로프가 체스를 생각하는 방식으로 체스를 생각하지 않았다. 그것은 탐색했다. IBM이 특별히 제작한 이 시스템은 초당 약 2억 개의 포지션을 검토하고, 그랜드마스터들의 도움을 받아 엔지니어들이 조정한 평가 함수를 각 포지션에 적용했다. 어떤 인간보다 더 멀리 내다보고 가장 높은 점수를 받은 수를 두었다. 그것이 전부였다.
그것이 할 수 없었던 것은 거의 모든 것이었다. 아이에게 부드러운 게임을 가르칠 수 없었고, 체커를 할 수도, 시계를 읽을 수도, 사진에서 체스판을 찾을 수도 없었다. 자신이 이겼다는 것을 알지 못했다. 경기가 끝났을 때 IBM은 그것을 껐고 나중에 분해했으며, 그것은 저항하지 않았다. 저항할 누군가가 안에 없었기 때문이다. 딥 블루는 하나의 한정된 문제에 겨냥된 장엄한 도구였다. 그 문제에서 한 치만 벗어나도 그것은 무기력했다.
이 점을 기억하라. 1997년에 기계가 초인적 영역으로 진입했지만 하늘은 무너지지 않았다. 체스는 죽지 않았다. 오늘날 체스는 역사상 어느 때보다 인기가 높다. 딥블루의 승리는 안전했다. 압도적으로 강했지만 그 힘은 보드 가장자리를 넘어가지 않았고, 그 뒤에 의지도 없었다. 지금 의학과 과학을 변화시키는 좁은 도구들이 위협이 아니라 선물인 이유도 같다. 이에 대해서는 초지능 없이 우리가 가질 수 있는 미래에 관한 별도의 글.
우리는 계산을 의도로 착각했다
첫 번째 경기에서 항상 마음에 남는 순간이 있습니다. 카스파로프가 그 경기를 이겼지만, 그 안에서 딥 블루는 명백히 의미가 없는 수(44번째 수)를 두었습니다. 카스파로프는 이를 연구하며 미묘한 무언가, 자신이 따라갈 수 없는 먼 계획을 보고 있다고 결론 내렸습니다. 그것은 그를 불안하게 만들었습니다. 그는 단순한 프로그램이 그런 식으로 둘 수 없으며, 인간 그랜드마스터가 커튼 뒤에서 기계에 수를 알려주는 것이라고 의심하기 시작했습니다.
그것을 만든 사람들의 설명에 따르면 그 수는 버그였다. 좋아하는 수가 없었던 딥 블루는 기본값으로 돌아가 소음에 가까운 수를 두었다. 살아 있는 최고의 체스 두뇌는 결함 속에서 천재가 자신을 바라보는 것을 보았다. 그는 결코 완전히 균형을 되찾지 못했고, 그 의심은 남은 경기 내내 그를 따라다녔다.
우리는 설명할 수 없는 행동을 만나면 어디서든 마음을 보려고 타고났다. 기계가 지능일 필요는 없다. 우리가 지능이라고 믿기만 하면 된다.
이것이 현재 상황에 얼마나 직접적으로 들어맞는지 보자. 오늘날 시스템은 유창하고 자신 있는 인간 같은 언어를 생성하며, 우리는 카스파로프가 실수에서 전략을 읽어낸 것처럼 유창함에서 이해를 읽어낸다. 누군가 안에 있다는 느낌은 강력하다. 대부분은 투사다. 우리가 실제로 확인하지 않은 신뢰를 넘겨주는 정확한 메커니즘이다. 이 시스템들이 무엇을 이해하는지와 관계없이, 우리는 기계가 이해하는 것처럼 행동한다. 그 반사는 새로운 것이 아니다. 1997년 딥 블루 맞은편에 앉아 있었고, 당신은 두 질문을 분리하다 같은 방식으로.
챔피언은 무너졌다. 기계는 아무것도 느끼지 못했다.
카스파로프는 딥 블루의 계산에만 패배한 것이 아닙니다. 그는 부분적으로 자신의 신경계 때문에 패배했습니다. 두 번째 게임에서 그는 나중에 분석 결과 무승부로 밝혀진 포지션을 포기했습니다. 그는 기계가 실제보다 더 멀리 보았다고 확신한 나머지 지킬 수 있었던 게임을 포기했습니다. 마지막 게임에서는 너무 흔들려서 서두름 속에서 알려진 함정에 직진했고, 평온한 오후였다면 피할 수 있었던 기물 희생이었습니다. 19수 만에 끝났습니다.
기계는 이런 감정을 전혀 느끼지 않았다. 상처받을 자아도 없고, 두려워할 기자회견도 없으며, 다음 경기에까지 이어질 나쁜 경기의 기억도 없다. 이 비대칭은 영구적이며, 체스에 관한 것이 아니다. 사람이 지칠 줄 모르고 스스로를 의심하지 않는 시스템과 경쟁하거나 의존하게 될 때, 가장 먼저 무너지는 것은 사람 쪽이다. 우리의 평정, 판단, 담력. 이런 도구들과 함께 사는 솔직한 기록은 상대편의 연산 능력뿐 아니라 우리 쪽의 취약성을 직시해야 한다.
모두가 양쪽 방향으로 잘못 예측했습니다
수십 년 동안 진지한 사람들은 컴퓨터가 세계 챔피언을 이기려면 아직 멀었으며, 마침내 그렇게 된다면 진정한 이해 같은 것이 필요할 것이라고 말했습니다. 그 두 부분 모두 틀렸습니다. 자신 있는 예측이 허용한 것보다 일찍 도착했습니다. 그리고 전혀 이해 없이 도착했습니다. 무차별 대입 탐색이 먼저 도달했습니다.
여기서 두 가지 교훈이 나온다. 그리고 이들은 반대 방향을 가리키기 때문에 사람들은 보통 하나는 붙들고 다른 하나는 조용히 버리는 경향이 있다. 첫째, 역량 이정표는 전문가들이 예상하는 것보다 빨리 도달하는 경향이 있으므로, 안심할 수 있는 일정을 믿는 것은 우리가 이미 한 번 공공연히 저지른 실수다. 둘째, 이정표 도달은 마음의 도래에 대해 우리가 느끼는 것보다 훨씬 적은 것을 말해준다. 딥 블루의 승리는 탐색과 실리콘에 관한 사실이지, 기계 사고의 일출이 아니었다. 둘 다 함께 참이다. 진보는 당신이 생각하는 것보다 빠를 수 있고, 같은 해에 보이는 것보다 얕을 수 있다. 다음 라운드의 를 읽을 때 기억할 가치가 있다 이 모든 것이 어디로 향하는지에 대한 예측.
모든 것을 바꾸는 단 하나의 차이
1997년이 안심할 만한 이야기가 아니라 경고로 바뀌는 지점입니다. 딥 블루를 안전하게 만든 거의 모든 요소가 지금 우리가 의도적으로 기계에서 제거하고 있는 속성입니다.
협소. 한 가지 일만 했고, 그 외에는 아무것도 하지 않았다.
자신의 목표가 없습니다. 자리를 넘겨받기를 기다렸고 요청받은 일만 했습니다.
아무 저항 없이 종료되고 해체되었다. 계속 가동되기를 바라는 어떤 요소도 그 안에 없었기 때문이다.
그 강점은 보드 밖으로는 미치지 못했습니다.
일반. 모든 영역을 한꺼번에 다루도록 설계되었습니다.
개방형 목표를 부여받고 이를 추구할 수 있는 점점 더 많은 자율성을 얻었습니다.
인간의 감독이 점점 줄어든 상태에서 세상을 계획하고 행동할 것으로 예상되며, 도구적 수렴 논리에 따라 전원이 꺼지는 것을 막을 이유를 갖게 됩니다.
딥 블루는 아무것도 원하지 않았으므로 전원을 뽑을 수 있었습니다. 스스로 목표를 가진 시스템은 작업을 끝내려면 누군가 스위치를 누르지 못하게 해야 하므로 계속 작동할 이유가 생깁니다. 그것은 목표를 추구하는 것을 만드는 명백한 결과이며, 그 이름은, 도구적 수렴. 도구에서 원하는 에이전트로 넘어가는 순간, 1997년의 안락한 교훈은 만료됩니다.
카스파로프가 다음에 한 일
결론은 가장 희망적인 부분이며 보통 생략됩니다. 카스파로프는 이후 몇 년을 기계 때문에 풀이 죽어 보내지 않았습니다. 1년 안에 그는 새로운 형식, 때때로 고급 체스라고 불리는, 인간이 컴퓨터와 짝을 이루어 다른 짝과 겨루는 형식을 홍보했습니다. 나타난 결과는 놀라웠습니다. 보드 위에서 가장 강한 경쟁자는 최고의 그랜드마스터도 최고의 엔진도 아니었고, 기계를 잘 사용하는 유능한 인간이었습니다. 도구는 선수를 대체하지 않았습니다. 선수를 더 크게 만들었습니다.
지금 당장 실현 가능한 바람직한 미래는 의료, 연구실, 일상 업무에서 인간의 판단을 확장해 주는 좁고 통제 가능한 도구들로 이루어진다. 이 도구들은 스스로의 의제를 갖지 않는다. 최전선 연구소들이 추구하는 자율적 범용 지능, 즉 이사회에 인간이 전혀 필요 없는 존재를 만드는 프로젝트와는 전혀 다른 방향이다. 첫 번째 접근은 우리를 확장한다. 두 번째 접근은 우리를 불필요하게 만들도록 설계되었으며, 더 이상 우리를 필요로 하지 않는 시스템이라면 우리가 여전히 끌 수 있다는 확신이 반드시 있어야 한다. 바로 그 확신이 아직 존재하지 않는다는 점이 위협 그리고 이유는 우리가 추진하는 계획.
1997년에 우리는 지금 모든 것의 중심에 놓인 질문에 대한 공개 리허설을 가졌다. 우리보다 더 나은 기계를 만들었을 때 우리는 무엇을 해야 하는가? 딥 블루는 온화한 답을 내놓았다. 그것은 언제나 도구에 불과했기 때문이다. 의지가 없는 도구는 세계 챔피언을 이기고도 세상을 그대로 두었다. 다음 답은 기본적으로 온화하지 않을 것이다. 그 답은 우리가 만드는 것이 더 정교한 도구인지, 아니면 스스로 목표를 가진 후계자인지에 전적으로 달려 있다. 우리가 만드는 일이 아직 우리의 손에 있을 때 의도적으로 만들어야 한다.
가장 강력한 반발
가장 공정한 반론은 딥 블루가 초인적 성능이 안전하고 좁을 수 있음을 증명했으니 인공지능에 대한 두려움은 향수라는 것이다. 딥 블루는 아무것도 원하지 않았다. 오늘날의 경로는 범용성에 에이전시, 자기 개선 압력이 더해진 것이다. 체스 챔피언을 이기는 것은 제도를 능가할 수 있는 시스템과 같은 종류의 위험이 아니다.