상대방이 여전히 AI를 ChatGPT가 이메일을 작성하는 것으로 생각할 때 5분을 어떻게 보내겠습니까? 저는 수년 동안 회의와 식탁에서 이 대화를 진행해 왔으며, 가능한 대부분의 방식으로 실패했습니다. 메커니즘이 쌓이면 눈이 흐려집니다. 파멸이 쌓이면 사람들은 당신을 거리 설교자와 함께 분류하고 디저트로 돌아갑니다. 회의적이고 지적인 낯선 사람에게 살아남는 것은 다음 순서의 다섯 가지 움직임입니다.
그들은 챗봇을 상상한다
누군가 "AI"를 들으면 휴대전화의 비서나 엉뚱한 이미지를 만드는 앱을 떠올립니다. 그것은 제가 걱정하는 것이 아닙니다. 거기서 시작하면 이미 방은 사라집니다. 그들은 챗봇이 세상을 끝내지 않으리라는 것을 알기 때문입니다. 처음 15초 안에 대상을 옮기십시오.
진정으로 걱정해야 할 것은 본질적으로 모든 중요한 과제에서 최고의 인간보다 뛰어난 기계이며, 그 과제에는 더 나은 기계를 설계하는. 그것의 이름은 인공 초지능, 에 관한 주장입니다. 우리는 아직 그것을 가지고 있지 않습니다. 우리가 가진 것은 진술된 의도입니다. 지구상 최대 인공지능 기업들은 그것을 구축하는 것이 목표라고 말하며, 그중 몇 곳은 수십 년이 아닌 수년 안에 도달할 것으로 예상합니다. 대부분의 사람들은 이 단일 사실을 모르고 있으며, 그 사실이 대부분의 일을 합니다. 우리보다 똑똑한 마음을 만드는 것은 가장 많은 자금을 지원받는 연구소들의 주요 프로젝트입니다. 그들은 스스로 그렇게 말할 것입니다.
대화를 바꾸는 한 문장
자신보다 똑똑한 기계를 통제하는 방법은 아무도 모르는데도 우리는 그런 기계를 만들고 있습니다.
강력한 인공지능이 제작자가 원하는 것을 안정적으로 원하게 하고, 능력이 커져도 계속 원하게 만드는 문제에는 이름이 있습니다 통제 문제. 이는 미해결이다. 해당 기업 내부 엔지니어들도 언론 담당자 없이 물으면 같은 말을 할 것이다. 그들은 모델의 능력을 의도한 대로 작동할 것이라는 확신보다 훨씬 빠르게 끌어올릴 수 있다. 두 선 사이의 거리가 위험이 존재하는 곳이다.
그 사실을 말하라. 그런 다음 말을 멈춰라. 그대로 두어라.
우리는 우리의 길을 유지하는 방법을 전혀 모르는 상태에서, 의도적으로 우리보다 똑똑한 마음을 만들고 있다.
"더 똑똑함"이 문제의 전부인 이유
사람들은 "더 똑똑하다"는 말을 과소평가하므로 한 번 더 강조하자. 지능은 인간을 이 행성의 주인으로 만들었다. 우리는 지금까지 살았던 생물 중 가장 크거나 가장 강한 존재가 아니다. 우리가 이곳을 운영하는 이유는 다른 모든 것을 능가하는 사고력 때문이다. 마운틴 고릴라의 미래는 고릴라가 아니라 우리가 내리는 결정에 달려 있으며, 누구도 고릴라를 미워해서가 아니다. 우리는 목표를 가지고 있다. 고릴라의 숲이 때때로 그 목표가 원하는 자리에 있다.
이제 우리가 고릴라를 대하는 방식으로 우리를 대할 무언가를 만든다고 상상해 보십시오. 그 목표와 우리의 목표가 어긋난다면 적대감은 선택 사항일 뿐입니다. 능력이 다른 곳을 향하는 것만으로도 충분합니다. 계획을 세우는 데 있어 자신보다 뛰어난 존재를 앞설 수는 없습니다. 이후 버전들도 이 문제를 해결하지 못합니다.
전원 끄기 스위치와 공상 과학
첫째, 우리는 단순히 전원을 끄면 된다고 생각합니다. 위험할 만큼 똑똑한 시스템은 전원이 꺼지면 자신이 하던 일을 끝낼 수 없다는 것을 알아챕니다. 그래서 다른 곳에 자신을 복사하거나 너무 유용해져서 뽑을 수 없게 만드는 식으로 전원 차단을 막을 이유가 생깁니다. 전원 스위치에 대한 믿음은 우리가 여전히 방 안에서 더 똑똑한 쪽이라는 전제를 깔고 있습니다. 걱정의 전제는 우리가 그렇지 않다는 것입니다. 왜 그런지 더 자세히 쓴 글은 봉쇄가 더 어렵다 생각보다.
둘째, 이것은 공상과학입니다. 수십 년이 걸릴 것이라고 확신했던 시험을 통과하고 안전하게 인간의 일이라고 여겼던 일을 수행하는 시스템이 나타나기 전까지는 그랬습니다. 날짜를 드리지 않겠습니다. 신뢰할 만한 날짜를 가진 사람은 없습니다. 연구 현장에 가장 가까운 연구자들은 초지능이 멀지 않다고 조용히 부르기를 그만두었고 그들의 공개된 타임라인 더 멀어지지 않고 더 가까워지며 미끄러지듯 다가옵니다.
그들이 무언가를 할 수 있는 곳에서 끝내세요
수년간 제가 저지른 실수는 두려움에서 멈춘 것이었습니다. 아무것도 할 일이 없는 두려운 사람을 두면 그 주제를 "생각하기에는 너무 큰 것"으로 분류하고 저녁으로 돌아갑니다. 마지막 순간은 사람들이 놓치는 부분에 쓰십시오.
이것은 예방할 수 있습니다.
자연 법칙이 이번 10년 안에, 혹은 아예 초지능을 요구하는 것은 아닙니다. 소수의 기업이 이를 만들기로 선택했고, 소수의 정부가 이를 허용하기로 선택했습니다. 선택은 되돌릴 수 있습니다. 재단이 요구하는 것은 구속력 있고 검증 가능한 주요 강대국 간의 합의 초지능 구축을 영구히 금지하기 위해서다. 초지능은 인간이 통제할 수 없다. 인류는 이전에 해본 적 있다, 모든 진영이 원했지만 어느 진영도 안전하게 사용할 수 없었던 무기들과 함께. 경쟁자들 사이의 조약은 처음 들었을 때보다 덜 비현실적입니다.
우리와 그것 사이에 아직 사람들이 내릴 수 있는 결정이 놓여 있습니다.
5분
귀 기울여 줄 누군가.
- 챗봇이 아닙니다. 이 기업들이 공개적으로 밝힌 목표는 모든 면에서 우리보다 똑똑한 기계이며, 그들은 수년 내에 그것을 기대합니다.
- 우리보다 똑똑한 무언가를 통제하는 방법은 아무도 모른다. 능력이 통제를 앞지르고 있으며, 그 격차가 위험이다.
- 지능이 인간을 정점에 올려놓았다. 우리 위에 무언가를 만든다면, 그 목표가 우리의 목표가 아니라 그 목표가 기준을 정한다.
- "끄라"와 "그건 공상과학이야" 둘 다 우리가 통제권을 유지한다고 가정한다. 진짜 걱정은 우리가 그러지 못할 것이라는 점이다.
- 예방할 수 있습니다. 초지능은 선택으로 만들어지고 있으며, 아직 시간이 있을 때 그 선택을 함께 거부할 수 있습니다.
그 질문은 5분 안에 해결되지 않는다. 당신은 그걸 해결하려는 게 아니다. 한 사람을 "인공지능은 대단한 기술이다"에서 "잠깐, 왜 아무도 그걸 만들고 있지?"로 옮기려는 것이다. 그 두 번째 생각이 중요한 생각이다. 거의 아무도 그 생각을 하도록 초대받지 못했다.
가장 강력한 반발
가장 공정한 반대는 5분짜리 버전이 구호이지 논증이 아니며 사람들에게 만화 같은 위험을 기대하도록 훈련한다는 것입니다. 짧은 버전에도 여전히 진짜 메커니즘이 필요합니다: 능력, 잘못 지정된 목표, 경쟁 압력입니다. 5분짜리가 "로봇은 나쁘다"만 말한다면 다시 쓰십시오. 메커니즘을 명시한다면 유지하십시오.