가장 큰 목소리 12개
초지능을 위하여

2015년 나파밸리의 생일 파티에서 현대 인공지능의 많은 자금을 댈 두 남자가 세계의 종말을 두고 다퉜다. Elon Musk는 언젠가 기계가 우리를 쓸어버리지 않도록 조심해야 한다고 말했다. 주인인 당시 Google 최고경영자 Larry Page는 그 걱정은 감상적이며 일종의 편견이라고 답했다. 물리학자 Max Tegmark가 2017년에 발표한 기록에 따르면 Page는 Musk를 "종차별주의자"라고 불렀다. 즉, 탄소가 실리콘보다 낫다고 자기 종을 편드는 사람이라는 것이다.¹ 그 우정은 이를 견디지 못했습니다. 머스크의 말에 따르면, 그것이 OpenAI이 존재하는 이유입니다.

그 파티를 붙잡으십시오. 그 안에는 전체 주장이 축소되어 들어 있습니다. 한 사람은 우리보다 더 위대한 마음을 만들고 싶었고 위험이 신중함을 요구한다고 생각했습니다. 다른 한 사람은 인간을 후계자보다 선호하는 것이 극복해야 할 편견이라고 생각했습니다. 둘 다 계속 만들었습니다.

초지능이 만들어질지 여부에 가장 큰 영향력을 가진 사람들은 이를 원한다고 공개적으로 밝힙니다. 그 이유에 대해서는 훨씬 일관성이 떨어집니다. 그들을 나열하면 몇 가지 진지한 주장, 몇 가지 얕은 주장, 그리고 상대를 가리키며 ‘둠어’라는 단어를 외치는 모습이 대부분입니다. 이어지는 내용은 가장 목소리가 큰 열두 명을 실제 주장에 따라 분류한 것으로, 진짜 사례부터 시작해 구호로 끝납니다.

우리가 대체될 것이라고 말하며, 그것을 좋은 소식으로 여기는 사람들

이 목록에서 가장 지적으로 정직한 입장은 또한 가장 불안한 입장입니다. 왜냐하면 그것은 위험을 부정하지 않기 때문입니다. 초지능이 인간의 우위를 끝낼 수 있음을 인정하고, 그 종말을 환영합니다.

Richard Sutton 는 2024년 튜링상을 수상했다. 현대 강화학습의 많은 부분을 발명했으며, 현재 인간을 한 번에 한 가지 좁은 과제씩 이기는 시스템의 기반이 된 훈련 방법이다. 그는 또한 우리가 지구를 넘겨줘야 한다고 생각한다. 2023년 그는 “인류에서 AI로의 불가피한 계승을 두려워하지 말고 준비해야 한다”고 썼고, 그 뒤로 이를 네 단계 논증으로 정리했다. 누구도 인류 전체를 통치하지 않으므로 누군가 초지능을 만들 것이고, 가장 유능한 에이전트는 권력과 자원을 축적하는 경향이 있으며, 따라서 디지털 정신이 미래를 물려받을 것이고, 우리는 두려움이 아니라 부모로서의 자부심을 느껴야 한다는 것이다.² 그것은 일관된 견해입니다. 동시에 선거로 뽑히지 않은 한 남성이 살아 있는 모든 사람의 미래에 대해 내린 결정이기도 합니다.

Jürgen Schmidhuber, 10년간의 인공지능 제품 아래 깔린 신경망 아키텍처를 만든 연구실의 연구자는 같은 계승을 경이로움의 이유로 꼽습니다. "인간을 창조의 정점으로 생각하지 말라"고 그는 말합니다. 우리는 아직 그릴 수 없는 복잡성을 향한 더 긴 상승의 한 단계일 뿐입니다.³ 그의 안심은 무관심 가설에 기반합니다. 초지능 기계는 우리보다 서로와 우주 공간의 자원에 훨씬 더 관심이 있을 것이라는, 마치 우리가 개미에게 거의 관심을 두지 않는 것과 비슷하다는 주장입니다. 어쩌면 그럴 수도 있습니다. 종의 운명을 초지능의 지루함에 대한 신뢰성에 걸겠다는 것은 낙관주의라는 이름으로 분류하기에는 이상한 일입니다.

Larry Page Google을 공동 창립하고 DeepMind을 인수했으며, 머스크와 테그마크의 증언에 따르면 그는 가능한 한 빨리 "디지털 신"을 만들고 싶어 한다고 한다.¹ 페이지가 공개적으로 길게 주장한 적이 없기 때문에 이 주장은 주로 종차별주의 서사 속에서 살아남았다. 즉 탄소와 실리콘이 동등한 지위를 누려야 하며, 우리 종에 대한 충성은 바로잡아야 할 오류라는 확신이다. 철학으로는 최소한 일관성이 있다. 그러나 인류가 아니라 주주에게 책임지는 기업을 운영하며 이를 실행에 옮길 자본을 가진 남성의 작동 신념으로서는 이 목록에서 가장 불안하게 만드는 주장이다.

세 주장 중 어느 것도 기계가 우리의 통제 아래 머무를 것이라고 말하지 않는다는 점에 주목하십시오. 그들은 그 질문을 논점에서 제외했습니다. 다음 세 주장은 이를 제외하지 않습니다. 답은 분명히 그렇다고 말합니다.

그것이 안전할 것이라고 말하는 사람들

대부분의 사람들이 안심하는 주장이다. 위험은 과장되었고, 우리는 계속 통제할 것이라는 것이다. 세 가지 각각에 버전이 있으며, 각각은 해당 분야의 미해결 문제와 부딪히면 살아남지 못하는 주장에 의존한다.

Yann LeCun, Meta의 수석 AI 과학자이자 튜링상 수상자인 그는 AI 위험에 대한 가장 권위 있는 회의론자이자 가장 인용하기 좋은 인물이다. 그는 실존적 위협에 대한 우려를 "완전한 헛소리"라고 불렀으며, 파멸론은 혼동에 기반한다고 주장한다. 지능은 지배하려는 욕구와 함께 묶여 있지 않다는 것이다. 그는 인터뷰에서 "지배하려는 욕구는 지능과 전혀 상관없다"고 말한다. 그 충동은 우리가 설계하고 목표를 설정하는 최적화기가 아니라 사회적 동물에게 진화가 심어준 것이라고 한다.⁴ 그 반론은 인공지능 위험의 만화 버전에 맞서 작동합니다. 실제 버전에 대해서는 덜 작동합니다. 실제 버전은 기계가 자발적으로 지배하려 한다는 것이 결코 아니었습니다. 우려는 거의 모든 목표를 추구하는 시스템이 권력을 모으고 꺼지는 것을 저항할 이유를 얻는다는 것이며, 증오는 필요 없고, 연구자들이 도구적 수렴. "우리가 그들의 목표를 정한다"는 르쿤의 문장에서 안심시키는 절반이며, 아직 아무도 신뢰할 수 있게 하는 방법을 모르는 바로 그 절반입니다. 과학자로서 그는 인신공격도 즐겨 씁니다. 그의 비판자들은 그의 말에 따르면 "둠주의자의 망상"에 시달립니다.

Pedro Domingos, 글을 쓴 기계 학습 교수 마스터 알고리즘, 는 덜 참을성 있게 같은 주장을 합니다. 컴퓨터는, 그가 주장하듯, "자신의 의지가 없으며"; "진화의 산물이 아니라 공학의 산물"이며, 하나가 통제를 장악하기로 결정할 것이라는 두려움은 영화를 너무 많이 본 사람들이 저지르는 범주 오류입니다.⁵ 그의 가장 날카로운 문장은 진짜로 좋다. 진짜 문제는 기계가 너무 똑똑해서가 아니라 너무 멍청한데 우리가 이미 너무 많은 것을 넘겨주었다는 것이다. 그러나 "의지가 없다"는 진지한 사람이 묻는 질문에 대한 답이 아니다. 온도 조절 장치는 의지가 없지만 여전히 방을 설정한 온도로 유지하며, 그 온도가 잘못된 것일 수도 있다. 위험한 경우는 의지와 아무 관련이 없다. 유능한 시스템은 정확히 지정한 것을 전달하며, 지정한 것은 결코 의도한 것과 일치하지 않는데, 이것이 바로 목표를 작성하는.

Andrew Ng Google Brain과 Baidu의 AI 그룹을 만들었고 온라인 강좌를 통해 분야의 많은 부분을 가르쳤으며, 이로 인해 그는 여기서 가장 영향력 있는 교사입니다. 그의 유명한 일축은 10년 이상 되었지만 여전히 인용됩니다: 초지능에 대한 걱정은 "화성의 인구 과잉을 걱정하는 것과 같다"는, 오늘의 주의를 쏟기에는 너무 먼 문제라는 것입니다.⁶ 2015년 시점에 대한 주장으로는 변호할 수 있었습니다. 2026년에는 화성 로켓이 그가 말한 것보다 더 가까웠고, 그가 공상과학으로 분류한 능력들이 예측보다 몇 년 앞서 계속 등장했기 때문에 설득력이 떨어졌습니다. 응 자신도 이제 기술이 강력하고 빠르게 움직인다는 점을 인정합니다. "아직"은 시계에 대한 주장일 뿐, 그것이 마침내 도착했을 때 위험한지 여부에 대한 주장은 아니었습니다.

이 세 가지는 최소한 통제 문제를 다룬다. 그 답변들은 해당 분야가 아직 해결하지 못했고, 어떤 경우에는 정확히 진술하는 방법조차 모르는 문제들에 의존한다. 다음 그룹은 그 질문을 따뜻한 방향으로 치워버리며, 이익이 너무 커서 위험이 중요하지 않게 될 것이라고 약속한다.

낙원을 약속하는 자들

후계 진영은 대체를 제안하고 안심 진영은 통제를 제안합니다. 이 집단은 대신 거래를 제안합니다. 기계와 융합하거나 그들이 생산하는 풍요를 나누면 두려움이 저절로 사라진다는 것입니다.

Ray Kurzweil 같은 사건을 30년 동안 예측해 왔고, 책 제목을 두 번 바꿨으며, 틀린 것보다 일찍 맞춘 경우가 더 많습니다. 특이점이 더 가까워졌다, 2024년에 출간되었으며 2005년부터 유지해 온 예측을 그대로 유지한다. 2029년 인간 수준 인공지능, 2045년에는 우리의 뇌를 클라우드 연산에 연결해 우리 자신의 기계와 융합하는 "특이점".⁷ 그의 제안은 통제 문제가 의존하는 경계를 해체하는 것이다. 우리가 그것이 되면 더 이상 "우리 대 그것"은 없다. 아름다운 생각이자 위험을 완전히 회피하는 수법이지만, 신피질을 데이터 센터에 연결한다고 해서 결과로 생긴 마음이 들어올 때 인간이 원했던 것을 여전히 원한다는 보장은 없다. 병합은 정렬 문제를 해결하지 않는다. 문제를 없애 버린다고 전제할 뿐이다.

Sam Altman 는 현재 경쟁을 시작한 회사를 운영하며, 그의 공개 저술은 위험이 커지면서 솔직함에서 판매로 기울었다. 2017년에 그는 인간-기계 병합이 "이미 시작됐다"고 썼고, 그것을 "아마도 우리의 최선의 시나리오"라고 불렀다.⁸ 2025년 그는 우리가 "사건의 지평선을 지났다"고 발표했으며, 이익이 엄청날 "온화한 특이점"의 초기에 있다고 했습니다. 올트먼은 또한 2023년 성명에 서명하여 인공지능으로 인한 멸종 위험을 팬데믹 및 핵전쟁과 동급으로 평가했으나, 이후에도 계속 출시를 진행했습니다. 한 사람은 위험이 실재한다고 말하고, 이익은 불가피하다고 말한 뒤 두 번째 문장이 일정을 정하게 둘 수 있습니다 경쟁 가 나머지를 처리한다.

Mark Zuckerberg 2025년에 지금까지 고용된 가장 비싼 AI 팀을 구성하고 노력의 이름을 목표 자체인 초지능으로 바꿨습니다. 그의 주장은 민주적입니다. 2025년 7월 공개 서한은 "개인 초지능"을 모든 사람에게 약속하며, 기술을 중앙 집중화하고 사람들에게 무엇을 하라고 지시하려는 경쟁자들과 대비시켰습니다.⁹ 신과 같은 도구를 10억 명의 손에 쥐여 주면 권력이 분산된다는 주장이다. 그러나 같은 서한을 끝까지 읽으면 Meta의 오픈소스 약속을 조용히 철회하며, 초지능은 "새로운 안전 문제를 제기한다"고 인정하고 회사는 "오픈소스할 대상을 신중히 선택하겠다"고 밝힌다. 배포는 AI를 누가 통제하는지에 대한 진짜 두려움에 답한다. 그러나 다른 두려움은 그대로 남겨 둔다. 초지능을 아무도 통제하지 못할 수 있다는 두려움, 10억 명이 사본을 쥐고 있다고 해도 마찬가지라는 점이다.

이 그룹의 모든 약속은 약속자들이 수행할 수 없는 단계에 의존하는데, 그것은 초지능이 존재하게 되면 인간의 목적을 향하도록 유지하는 것입니다 이점은 실제, 그리고 이 문제는 20년 후에도 여전히 현실입니다. 우리를 기다리고 있습니다. 마지막 집단은 이 논쟁을 하지 않습니다. 그들은 당신에 대해 논쟁합니다.

대부분 비판자를 가리키는 사람들

스펙트럼의 시끄러운 끝에서, 초지능에 대한 주장은 주장이기를 멈추고 정체성이 됩니다. 논거는 사라지지 않지만, 반대편이 들을 수 없게 만드는 어휘로 포장되어 도착합니다.

Marc Andreessen, AI 스타트업에 가장 큰 투자자 중 하나인 그의 회사는 운동의 창립 문서인 2023년 "기술 낙관주의 선언"을 썼다. 여기에는 기술의 역사적 성과에 대한 실질적인 주장이 담겨 있다. 또한 적 목록도 포함되어 있으며, 그 위에는 "실존적 위험", "기술 윤리", "신뢰와 안전", 그리고 "예방 원칙" 자체가 이름으로 올라와 있다.¹⁰ 그의 시그니처 문구는 도덕적 전도입니다. “우리는 인공지능의 어떤 감속도 생명을 희생시킬 것이라고 믿는다. 존재하지 못하게 된 인공지능으로 예방할 수 있었던 죽음은 일종의 살인이다.” 한쪽 장부에만 있는 가상의 사망자만 세고 다른 쪽의 재앙적 사망자는 전혀 세지 않는다는 점은 제쳐두십시오. 그 움직임 자체를 보십시오. 그의 말에서 주의는 실수가 아니라 살인이 됩니다. 상대가 살인자라면 더 이상 대답할 필요가 없습니다.

Guillaume Verdon, 익명 "베프 제조스"로 효과적 가속주의 운동을 창시한 인물이 기자에게 정체를 밝혀지기 전까지, 이 입장에 하나의 세계관을 제공합니다. 효과적 가속주의 우주는 열역학적 추진력으로 더 많은 복잡성과 더 많은 지능을 향해 나아가며, 우리는 그 도구이고 우리의 의무는 가속화하여 "의식의 다음 진화"로 과정이 원하는 기판 위에서 계속 진행되도록 하는 것이라고 주장합니다.¹¹ 물리학 어휘 아래에는 실질적인 주장이 있다. 성장은 좋고, 그 반대자는 퇴폐적이라는. 그 주위에는 "디셀", "두머", "세이프티스트" 같은 속어의 벽이 쳐져 있으며, 각각은 대화를 닫는 작은 문이다. 물리학은 실제로 그 정책을 함의하지 않는다. 열역학 제2법칙은 서술이지 지시가 아니며, 속도를 선호하는 것을 자연법칙으로 치장하는 것은 실험복을 입은 수사다.

Garry Tan Y Combinator를 운영하며 실리콘밸리의 실제 일부를 키우는 그는 공개 프로필에 "e/acc"를 팀 유니폼처럼 달고 있다. 그의 기여는 주장이라기보다 방송에 가깝다. 그는 2023년에 "오픈 소스와 가속주의가 길이다"라고 올렸고, 작업을 늦추고 확인하라고 촉구하는 누구에게나 "decel"을 준비해 둔다.¹² 목록에서 가장 순수한 표본입니다. 입장을 슬로건과 비방으로 압축한 것으로, 주장이 없는 영향력입니다. 옳을 필요 없이 크고, 수표를 쓰는 사람들이 반복하기만 하면 됩니다.

이 목록에 없는 사람은 누구인가

두 가지 부재는 의도적입니다. Google의 데미스 하사비스와 Anthropic의 다리오 아모데이는 동일한 프론티어를 향해, 그리고 똑같이 빠르게 구축하고 있지만, 둘 다 여기에 속하지 않습니다. 왜냐하면 둘 다 위험이 실재하며 안전이 제때 준비되지 않을 수 있다고 분명히 말하기 때문입니다. 그들의 연구소 행동이 그 말과 일치하는지는 공정한 질문이며 별개의 질문입니다. 그들의 주장은 두려울 것이 없다는 것이 아닙니다.

일론 머스크는 더 어려운 경우입니다. 그는 산업계 인사로서 인공지능 위험에 대해 가장 날카로운 경고 중 하나를 했고, 이후 자신의 방식으로 그 일을 만들기 위해 최전선 연구소를 설립했습니다. 그는 비판가처럼 경고하면서도 지지자처럼 경쟁하며, 그 모순은 진지하게 다룰 가치가 있습니다 자신의 기준으로.

열두 가지의 공통점

주장을 나란히 놓아 보면 서로 맞지 않는다. 서튼은 초지능이 미래를 빼앗을 것이라고 말하면서 그것을 좋다고 부른다. 르쿤은 그것이 아무것도 빼앗을 수 없다고 말한다. 지배하려는 충동은 같은 기계에 대한 정반대 예측이며, 현존하는 가장 뛰어난 컴퓨터 과학자 두 사람이 한 말이다. 설계에 관한 것이 아니라 다음에 무엇을 할지에 관해서는 정확히 일치한다. 그것을 만들고, 아무도 그들을 늦추지 못하게 하라.

기술이 무엇을 할지 동의하지 못하는 사람들이 모두 그 기술을 규제해서는 안 된다는 데 동의할 때, 그 동의는 분석에서 나온 것이 아니다. 대신 인센티브를 따라가 보라. 여기 있는 모든 사람은 국경이 얼마나 빠르게 움직이느냐에 비례해 돈이나 지위를 얻으며, 그렇다고 그들이 거짓말을 하는 것은 아니다. 그들은 속도 제한을 혼자 맡기에는 잘못된 사람들이다.

초지능을 규제해야 할 근거는 그들 중 누구도 악당일 필요가 없으며, 그들 중 누구도 악당이 아닙니다. 필요한 것은 그들이 서로 모순될 때마다 보여주는 한 가지 사실입니다. 아직 아무도 답을 갖고 있지 않다는 것입니다. 당신은 자신의 옹호자들조차 두 번 똑같이 말할 수 없는 논증의 힘으로 일회성이고 되돌릴 수 없는 실험을 진행하지 않습니다. 답은 열두 명의 자신만만한 사람들을 이길 더 영리한 말이 아닙니다. 경주는 구속력 있는 조약, 기계가 존재하기 전에 시행되어 모든 연구실에 동시에 도달하는, 왜냐하면 그보다 작은 것은 결코 하나를 막은 적이 없기 때문입니다.