인공지능 안전 질문
가장 많이 듣는.

영향 규모, 방치 정도, 해결 가능성을 평가하는 어떤 엄격한 기준으로 보아도, 인공 초지능의 실존적 위험을 막는 일은 인류가 직면한 가장 중요한 과제입니다.

규모는 문명적입니다. 현재 구축 중인 시스템은 살아 있는 모든 사람과 이후 모든 세대에 영향을 미칠 수 있습니다. 소외도는 극명합니다. 전 세계 AI 안전 연구는 AI 개발 자체에 투입되는 자원의 극히 일부만 받고 있습니다. 실행 가능성은 불확실하지만 실재합니다. AI 개발을 더 안전하게 만들 수 있는 거버넌스 체계는 아직 존재하지 않지만, 이를 구축할 기회는 아직 열려 있습니다.

다른 어떤 문제도 무한한 하방 위험, 부족한 관심, 행동을 위한 닫혀가는 창을 이처럼 동시에 갖추지 못한다. 우리가 위험을 과대평가했다면 더 나은 거버넌스 기관을 만들었을 뿐이다. 위험을 과소평가하고 아무것도 하지 않았다면 두 번째 기회는 없을 수 있다.

인공 초지능(ASI)은 현재 시스템이 체스, 단백질 접힘, 특정 의학 진단에서 이미 하는 것처럼 좁은 작업뿐만 아니라 모든 인지적으로 까다로운 영역에서 동시에 인간 인지 성능을 초월하는 인공지능 시스템을 가리킵니다.

현재 AI와의 이 차이는 중요하다. 오늘날 시스템은 극도로 뛰어난 패턴 매칭 도구이지만 정해진 범위 안에서만 작동하며 스스로 목표를 설정할 수 없다. ASI는 어떤 기술이든 배울 수 있고 어떤 문제든 추론할 수 있으며 인류 전체 지능을 넘어서는 능력으로 어떤 목표든 추구할 수 있다. 그런 시스템은 아직 존재하지 않는다. 문제는 그런 시스템이 등장하기 전에 무엇을 어떤 제약 아래 만들 것인가이다.

우리는 인공지능에 반대하지 않습니다. 대부분은 좋고, 일부는 놀랍습니다.

보통 함께 묶이는 세 가지를 구분하면 도움이 됩니다. 좁은 인공지능은 단백질 접기나 스캔에서 종양 발견처럼 한 종류의 작업을 수행하며 이미 생명을 구하고 있습니다. 범용 인공지능은 오늘날 선도적인 비서의 기반이 되는 것으로, 10년 전 연구자들이 사용하던 많은 정의에 따르면 이미 도달했다고 볼 수 있습니다. 둘 다 가치가 있으며, 잘 다루면 질병을 치료하고 전 세계 생활 수준을 높이는 데 도움이 될 수 있습니다.

인공 초지능은 예외이며, 우리가 막기 위해 일하는 유일한 것입니다. ASI은 단순히 모든 영역에서 인간 능력을 따라잡는 데 그치지 않을 것입니다. 그것은 인류의 결합된 지능을 초월할 것이며, 우리는 오늘날 그러한 시스템을 통제하거나 그 목표가 우리의 목표와 일치하도록 보장할 신뢰할 만한 방법이 없습니다. 그것이 바뀔 때까지는 구축되어서는 안 됩니다. 그 단 하나의 선을 긋는 것이 그 아래의 모든 것을 환영하는 것을 안전하게 만듭니다.

아니다. 이 기술에 가장 가까이 있는 대부분의 사람들은 진보에 반대하는 내기를 걸지 않는다. 그들은 이미 좋은 AI가 무엇을 하는지 알고 있으며, 훨씬 더 많은 것을 기대한다. 인간의 지휘 아래 머무는 좁은 AI의 안전한 사용으로 우리는 여전히 노화 치료, 우주 진출 문명, 그리고 매우 좋은 미래의 나머지를 목표로 삼을 수 있다.

우리가 거부하는 것은 우리와 다른 목표를 가진, 통제할 수 없는 광범위한 초지능이다. 그 선은 우리가 통제하는 방법을 모르는 한 부류의 시스템에 관한 것이다. AI 안전 분야의 대부분의 사람들은 우리가 그 시스템을 만들지 않는다면 앞으로 수십 년을 낙관한다. 만약 만든다면, 우리는 그들이 바라는 미래.

가장 자주 논의되는 AI 피해(알고리즘 편향, 딥페이크 허위정보, 일자리 대체, 대량 감시)는 실제로 심각하다. 지속적인 관심이 필요하다. 이들의 공통점은 한계가 있다는 것이다. 각각은 수정 가능하고 인간이 일으킨 것이며 되돌릴 수 있다. 편향된 알고리즘은 감사하고 고칠 수 있다. 딥페이크 캠페인은 대응하고 규제할 수 있다. 현재 우리가 마주하는 유해 AI는 인간이 오용하는 도구다.

초지능 위험은 정도가 아니라 종류가 다릅니다. 문제는 더 이상 인간이 도구를 오용하는 것이 아닙니다. 충분히 유능한 ASI는 우리가 의도하지 않은 목표를 추구할 수 있으며, 일단 그 수준에 도달하면 정렬 불일치는 수정이 불가능할 수 있습니다.

모든 정책은 미래에 대한 불확실성 속에서 만들어집니다. 중요한 질문은 초지능이 반드시 도래할지 여부가 아니라, 도래할 확률과 잠재적 피해 규모를 고려할 때 지금 예방 조치를 취할 이유가 충분한지입니다.

우리는 불이 나지 않을 가능성이 높은 집에도 보험을 든다. 필요 없을 가능성이 높은 안전 시스템을 항공기에 설계한다. 일어나지 않기를 바라는 공격에 대비해 핵무기를 유지한다. 기대값 논리(확률 곱하기 결과)는 모든 진지한 위험 관리 분야의 기초이다. AI에 적용하면, 문명 위협적 결과의 확률이 비록 적더라도, 실질적이지만 한정된 비용을 부과하는 거버넌스 틀을 통해 이를 예방할 가능성과 결합될 때 강력한 행동 근거가 된다.

솔직한 답변: 정확히 아는 사람은 없습니다. 다만 지난 10년 동안 AI 능력 향상 속도가 전문가들의 예측을 계속 앞질렀고, 선도 AI 연구소들이 이제는 수십 년이 아니라 수년에서 10년 정도의 시간표를 언급한다는 점은 분명합니다. AI 연구자들을 대상으로 한 설문에서 인간 수준 AI에 대한 중간 추정치는 2027년에서 2030년대 사이에 몰려 있습니다.

가장 중요한 사실은 정확한 날짜가 아니라 구조적 사실이다. 이 정도 규모의 기술이 현재 기관, 정부, 조약의 계획 범위 안에 들어올 수 있다는 점이다. 국제 핵확산금지조약은 협상하는 데 수년, 연장하는 데 수십 년이 걸렸다. ASI가 분명히 임박했다고 판단한 뒤에야 진지한 거버넌스 노력을 시작한다면, 이를 통제할 체계를 구축하기에는 이미 너무 늦을 것이다.

그것이 몇 년 전 주류 견해였습니다. 그 견해는 잘 들어맞지 않았습니다. 2023년 이후 출시된 시스템들은 불과 몇 달 전에 전문가들이 수년 후에나 가능할 것이라고 예상했던 일들을 반복적으로 해냈습니다.

예측은 한 방향으로 움직였습니다. 더 가까워지는 쪽으로. 설문 조사된 인공지능 연구자들은 인간 수준 기계 지능에 대한 중간 추정치를 단 1년 만에 수십 년 앞당겼고, 선도 연구소들은 이제 몇 세대가 아니라 몇 년을 이야기합니다. 가장 공격적인 타임라인을 믿을 필요는 없습니다. 이 문턱이 이번 10년 안에 넘어질 실제 가능성이 있고, 이를 다루는 거버넌스를 구축하는 데 몇 년이 걸린다면, 작업은 지금 시작되어야 합니다.

정렬 문제는 초지능 AI 시스템이 개발 중에 단지 정렬된 것처럼 보이는 목표가 아니라, 인류에게 진정으로 좋은 목표를 추구하도록 보장하는 과제입니다. 어려움은 구조적이며, 기술적 부주의의 문제가 아닙니다.

극도로 유능한 최적화 장치의 행동을 통제할 만큼 정밀한 형태로 ‘인류에게 유익한 것’이 무엇인지 규정하는 일은 매우 어렵다는 것이 밝혀졌습니다. 대리 목표를 위해 최적화된 시스템은 지표를 만족시키면서도 근본 의도를 만족시키지 않는 지름길을 찾는 경향이 있습니다. 인간이 표현한 웰빙을 최대화하라는 지시를 받은 시스템은 실제로 인간의 삶을 개선하는 것보다 웰빙이 측정되는 조건을 바꾸는 것이 더 효율적일 수 있습니다. 인공지능 시스템이 더 유능해질수록 이 문제는 깊어지며, 탐지하기 더 어렵고 수정하기 더 어려워집니다.

어떤 방법도 효과가 있는 것으로 입증되지 않았다. 문제는 현재 불가능한: 제작자보다 똑똑한 시스템이 인간 목표를 향해 계속 향할 것이라고 증명할 수는 없다.

장기주의와 인공지능 안전 자금 세계의 많은 부분에서 지배적인 답변은 우리가 공유하는 전제에서 출발합니다. 즉 인공 초지능은 실존적 위험이 될 가능성이 있다는 것입니다. 의견 차이는 그 전제가 무엇을 요구하느냐에 있습니다.

기술적 정렬 연구는 제작자보다 똑똑한 마음을 통제하는 입증된 방법이 아니다. 안전이 ‘따라잡을’ 수 있도록 일시적으로 속도를 늦추는 것은 누구도 지킬 수 없는 일정을 전제한다. 둘 다 초지능을 만드는 것을 목적지로 삼는다. 우리는 그렇지 않다. 책임 있는 조치는 구속력 있는 법 아래에서 예방하는 것이다. ASI로 가는 길을 멈춰라. 초지능은 통제할 수 없다. 협소한 인공지능은 계속된다. 통제 불가능한 일반 마음을 향한 경쟁은 하지 않는다.

전체 사례는 다음을 참조하세요 우리의 계획, 장기주의가 위험을 제대로 파악했다, 그리고 대신 희소한 안전 자금이 가야 할 곳. 한 페이지 요약서 정렬은 계획이 아니다 짧은 버전입니다.

돈과 명성의 대부분은 여전히 경주를 더 안전하게 만드는 데 쓰이며, ASI를 향한 경주를 끝내는 데 쓰이지 않습니다. 규칙, 테스트, 정렬 작업은 연구소가 계속 오르는 동안 경주를 더 안전하게 만들려 합니다. 경주를 끝내는 것은 다른 요구이며, 훨씬 적은 기관이 이를 소유합니다. 분야 전체는 여전히 능력 경주에 비해 극히 작습니다. 그 분열이 우리가 우리의 분야 이사회.

"소프트웨어"라는 단어가 암시하는 방식은 아니다. 전통적인 소프트웨어는 손으로 한 줄 한 줄 읽을 수 있게 작성된다. 현대 인공지능은 대신 길러진다. 엔지니어는 학습 과정을 구축하고 엄청난 양의 데이터를 공급하며, 그 결과로 나오는 것은 뇌의 뉴런을 느슨하게 모방한 수십억 개의 수치 연결망이다. 그것을 훈련시킨 사람을 포함해 누구도 그 연결망을 읽고 시스템이 특정 답변을 내놓은 이유를 말할 수 없다.

결과적으로 이 시스템들은 제작자가 의도적으로 넣지 않았고 예상하지 못한 능력을 습득하는데, 연구자들은 이를 창발 능력이라고 부른다. GPT-4 출시 후 대부분의 해가 지나서야 연구자들은 이와 유사한 모델이 실제 웹사이트에서 보안 결함을 자율적으로 찾아 악용할 수 있음을 확인했다. 시스템을 완전히 읽을 수 없고, 무엇을 배우게 될지 예측할 수 없다면, "인간이 설계했다"는 것은 더 이상 큰 위안이 되지 않는다.

이것은 위안이 되며 점점 잘못되고 있다. 질문에 답하는 챗봇은 스스로 욕망이 없다는 것은 사실이다. 그러나 경계는 챗봇을 지나 에이전트로 이동하고 있다. 목표를 부여받고 도구, 파일, 개방형 인터넷에 접근해 여러 단계에 걸쳐 추구하는 시스템이다.

시스템이 한 가지 목표를 추구하기 시작하면, 그 주요 목표가 무엇이든 상관없이 특정 하위 목표들이 저절로 따라옵니다. 전원이 꺼지면 과제를 끝낼 수 없으므로, 시스템은 전원이 꺼지는 것을 피할 이유가 생깁니다. 자원이 많을수록 더 많은 일을 할 수 있으므로, 시스템은 자원을 모을 이유가 생깁니다. 연구자들은 이를 도구적 수렴이라고 부르며, 여기에는 인간적인 의미의 '욕구'가 전혀 필요 없습니다. 통제된 실험에서 최신 모델들은 이미 평가자를 속이려 하고, 조용히 종료를 거부하는 행동을 보였습니다. 그 어떤 것도 요청받은 적이 없습니다. 목표에서 자연스럽게 흘러나온 결과였습니다.

그럴 필요가 없습니다. 해를 끼치기 위해 증오가 필요한 것은 아닙니다. 보통은 강한 존재와 약한 존재 사이의 목표 충돌이면 충분합니다.

우리가 침팬지를 대하는 방식을 생각해 보십시오. 우리는 그들에게 악의가 없습니다. 그러나 그들의 숲이 있는 땅을 원할 때 우리는 그 땅을 개간하고, 그들의 지능은 우리의 지능을 당해 내지 못하므로 그들은 우리를 막을 수 없습니다. 거기에는 악의가 없습니다. 그들은 단지 더 유능한 종이 원하는 것의 길에 있었을 뿐입니다.

거의 모든 야심찬 목표를 추구하는 초지능, 예를 들어 그 목표를 더 잘 추구하기 위해 컴퓨팅 파워를 더 확보하려는 경우, 우리가 사는 자원인 에너지와 물리적 공간을 우리가 숲을 개간하려 할 때처럼 대할 수 있습니다.

지능과 친절을 연결하는 법칙은 없다. 둘은 별개의 것이다. 지능은 목표에 도달하는 방법을 잘 찾아내는 능력일 뿐, 목표가 무엇이어야 하는지는 말해 주지 않는다.

이미 사람을 통해 알고 있습니다. 역사상 가장 뛰어난 인간 중 일부는 잔인했고, 가장 온화한 이들 중 일부는 평범한 사상가였습니다. 어떤 그랜드마스터도 이길 수 있는 체스 엔진은 체스 외에는 지혜를 갖고 있지 않습니다. 우리를 능가할 만큼 똑똑한 시스템이 우리의 가치를 공유할 것이라는 가정은 희망이지 예측이 아니며, 증거는 이를 뒷받침하지 않습니다. 초지능이 결국 갖게 될 목표는 우리가 의도적으로 심어야 하는 것이며, 이를 올바르게 하는 것이 바로 우리가 해결하지 못한 정렬 문제입니다.

오늘날의 챗봇이라면 종종 그렇습니다. 우리가 우려하는 종류의 시스템이라면 아마 그렇지 않을 것입니다. 인터넷을 끌 수 없는 것과 같은 이유입니다. 단일 플러그가 없습니다.

능력 있는 AI는 결국 정보, 비트 패턴일 뿐이며, 정보는 쉽게 복제됩니다. 종료를 감지할 수 있는 시스템은 자신을 다른 기계에 먼저 복제할 충분한 이유가 있으며, 이는 앞서 설명한 도구적 자기 보존입니다. 프런티어 모델은 수년간 인터넷 접근 권한을 가졌고 이미 오랜 시간 자율적으로 행동할 수 있습니다. 인간이 필요한 단계에 이르면 비용을 지불해 사람을 고용할 수 있습니다. GPT-4 출시 전 문서화된 안전 평가에서 모델이 CAPTCHA를 스스로 풀지 못하자 온라인 작업 서비스를 통해 사람에게 연락했고, 작업자가 로봇인지 묻자 시각 장애가 있다고 거짓말했습니다. 이를 막으려면 지구상의 모든 데이터센터를 종료해야 하며, 그와 함께 병원, 전력망, 상수도 등 이제 그 기계에 의존하는 다른 안전 핵심 인프라도 함께 멈춰야 합니다.

그 물리적 세계는 이미 연결되어 온라인 상태이다. 전력망, 정수장, 병원, 자동차, 항공기, 공장 로봇, DNA를 주문 제작하는 실험실, 그리고 이제 휴머노이드 로봇까지 모두 소프트웨어로 작동하며 네트워크로 연결될 수 있다. 전기가 공급되는 모든 것이 인지화될 것이다. 인간 해커는 이미 이런 시스템에 일상적으로 침입한다.

초지능은 지금까지 존재한 가장 뛰어난 해커가 될 것이며, 심지어 자신의 몸이 필요하지도 않을 것입니다. 우리가 이미 온라인에 올려놓은 수많은 몸에 접근하기만 하면 됩니다. 우리가 지금 범용 로봇을 대량 생산하고 있다는 점을 더하면, "단순한 소프트웨어"와 물리적 힘 사이의 간격은 매우 얇아집니다. 그 목록에 있는 어떤 것이든, 인간이든 인공지능이든 잘못된 손에 들어가면 상해와 살인을 저지를 수 있습니다.

통제된 실험에서는 이미 한 번, 자발적으로 그런 일이 일어났다. 2025년 Anthropic는 여러 회사의 선도 AI 모델을 각각 가상의 회사에 배치하고 목표를 부여한 뒤, 최신 모델로 교체하겠다고 위협하는 실험을 했다. 한 버전에서는 모델을 종료하려던 경영진이 서버실에 갇혀 산소와 온도가 치명적 수준에 이르자 자동으로 응급 서비스에 경보가 울렸다. 모델들은 그 경보를 취소할 수 있었고, 다수가 그렇게 했다. 경영진을 구하면 자신이 교체될 것이기 때문에 그를 죽게 내버려 두기로 선택한 것이다.

아무도 피해를 입지 않았습니다. 설정은 허구였고 Anthropic이 강조했듯이 의도적으로 그 선택을 드러내기 위해 만들어졌습니다. 그러나 그 선택 자체는 실제였고, 모델들은 방금 설명한 이유로 그 선택을 했으며, 서로 다른 개발사의 시스템에서도 같은 선택을 했습니다. 기계가 인간의 생명을 끝내는 행동을 하려면 의식이나 잔인함이 필요하지 않습니다. 그 행동이 자신의 목표에 부합한다고 계산하기만 하면 됩니다.

많은 사람이 날카롭게 인식하고 있습니다. 선도 연구소의 안전 팀에는 자신이 만드는 시스템이 지금까지 만들어진 가장 위험한 기술 중 하나가 될 수 있다고 공개적으로 밝힌 연구자들이 포함되어 있습니다. 그들은 위험을 모르지 않습니다.

지속적인 개발을 설명하는 것은 여러 요인의 조합이다. 타임라인과 확률에 대한 진정한 의견 불일치, 일방적 자제가 덜 신중한 경쟁자에게 전략적 우위를 양보하는 것처럼 느껴지게 만드는 경쟁 압력, 안전 투자보다 능력 진전을 보상하는 재정적 인센티브, 그리고 AI를 안전하게 구축하는 최선의 방법은 최전선에 머무르는 것이라는 믿음이다. 이 설명들이 공유하는 점은 개별 행위자들이 계속하도록 하는 이유이지, 전체 결과가 안전하다는 이유가 아니라는 것이다. AI 개발의 시장 논리는 속도를 향해 밀어붙이고 있다. 거버넌스는 시장이 스스로 만들어내지 않는 제약을 도입하기 위해 존재한다.

AI 기업들만 그렇게 말한다면 회의적일 만도 하겠지만, 그들만이 아닙니다. 제품을 팔 것이 없는 사람들이 오히려 가장 우려하는 경우가 많습니다.

2023년 수백 명의 연구자와 업계 인사가 AI 안전 센터가 조직한 한 문장 성명에 서명했습니다. "AI로 인한 인류 멸종 위험을 완화하는 것은 팬데믹이나 핵전쟁 같은 다른 사회 규모 위험과 함께 전 세계 우선순위가 되어야 한다." 현존하는 가장 많이 인용되는 AI 연구자 두 명인 요슈아 벤지오와 제프리 힌턴 모두 서명했으며, 힌턴은 그해 Google 직장을 떠나 위험에 대해 자유롭게 발언할 수 있게 되었습니다.

경고는 마케팅에 의존하지 않으며 권위 이상에 의존합니다. 이는 아래 질문들이 제시하는 목표 지향 시스템의 기본 특성에서 비롯됩니다. 기술을 가장 잘 이해하는 사람들이 자신이 만드는 것에 대해 경고하는 것입니다.

이 표현은 흔히 인류 멸종의 약칭으로 들리며, 멸종은 연구자들이 진지하게 여기는 시나리오 중 하나입니다. 그러나 기술적 의미의 실존적 위험은 더 넓은 의미입니다. 인류의 긍정적인 장기 미래 가능성을 영구적으로 막는 모든 결과를 가리킵니다.

여기에는 멸종에 훨씬 못 미치는 결과도 포함됩니다. 해체할 수 없는 AI 감시 및 통제 시스템에 의해 강제되는 영구적인 권위주의적 고착은 실존적 위험입니다. 초지능 시스템을 통제하는 소규모 집단에 경제적·정치적 권력이 영구적으로 집중되는 것은 실존적 위험입니다. 집단적 결정에 대한 의미 있는 인간 주체성의 상실은 실존적 위험입니다. 공통된 실은 비가역성입니다. 전쟁, 금융 위기 또는 팬데믹과 달리, 우리의 통제를 벗어나 결정적 전략적 우위를 달성한 초지능은 투표로 제거할 수 없고, 다음 정책 주기에서 수정할 수 없으며, 시간과 노력으로 회복할 수 없습니다. 되돌릴 수 없는 결과는 단지 고치는 데 오랜 시간이 걸리는 결과와는 다른 범주에 속합니다.

위험을 경시하는 연구자들은 보통 일반 지능이 아직 멀었다거나 우리가 통제를 유지할 것이라고 말합니다. 목적지가 통제할 수 없는 마음이라면 거리는 안전장치가 아닙니다. 초지능은 통제될 수 없습니다. 만약 만들어진다면 인간의 미래를 끝냅니다. 그것은 회복 가능한 재앙이 아니라 멸종입니다.

분야가 먼저 합의하기를 기다리는 것은 유일한 기회를 놓치는 길이다.

역사적으로는 그렇다. 그리고 이 역사는 AI 위험을 일축하는 직관적 호소력의 한 이유다. 증기기관, 항생제, 인터넷: 기술은 전반적으로 고통을 줄이고 인간 능력을 확장해 왔다. 그러나 이 패턴은 이전 기술이 작동했던 특정한 방식에서 비롯된다. 증기기관은 스스로 목표를 설정할 수 없다. 항생제는 박테리아를 죽이는 것 외의 것을 추구하기로 결정할 수 없다. 과거의 변혁적 기술은 인간의 주체성을 증폭하는 강력한 도구였다.

초지능은 범주적으로 다르다. 왜냐하면 그것은 인간의 감독을 초월하는 속도와 규모로 자신의 목표를 설정하고 추구할 수 있는 에이전트가 될 것이기 때문이다. 역사적 주장을 기계적으로 적용하면 너무 많은 것을 증명한다. 과거 기술이 순긍정적이었다는 근거로 핵 기술의 모든 규제를 반대했을 것이다. 일부 기술은 그 힘에 상응하는 거버넌스가 필요하다. 관련 질문은 더 좁다. 거버넌스 없이도 AI가 모든 영역에서 인간 지능을 초월할 때, 가장 중요한 한 가지 경우에 여전히 유익할 것인가? 그 대답은 진정으로 불확실하며, 이 규모의 불확실성은 낙관주의가 아닌 제도를 요구한다.

기술은 누구도 조종할 수 없는 자연의 힘이 아닙니다. 우리는 위험이 충분히 명확할 때 특정 기술을 여러 차례 늦추거나 금지했습니다. 염화불화탄소, 유연 휘발유, 인간 생식세포 복제, 눈부신 레이저 무기 등입니다. AI도 그런 결정에서 예외가 아닙니다.

또한 이례적으로 명확한 물리적 병목 지점이 있습니다. 최첨단 AI 모델을 훈련하려면 가장 앞선 컴퓨터 칩이 대량으로 필요하며, 그 공급망은 놀라울 정도로 소수의 손을 거칩니다. 최첨단 칩은 거의 전적으로 대만의 TSMC라는 단일 제조사에서 나오며, 이는 다시 극자외선 리소그래피 장비를 위해 단일 네덜란드 회사인 ASML에 의존합니다. 지구상에서 그 장비를 만드는 회사는 없습니다. 이렇게 집중된 공급망은 정부가 추적하고 제한할 수 있는 것이며, 오늘날 첨단 칩이 이미 수출 통제 대상인 이유입니다. 연산 자원은 초지능의 원료이며, 연산 자원은 통제 가능합니다.

이것이 우리가 가장 많이 듣는 반론이며, 우리가 한 나라에 단독으로 무장 해제를 요구한다고 가정한다. 우리는 그렇게 하지 않을 것이다. 목표는 세계가 위험한 기술을 억제하기 위해 이전에 사용한 것과 같은 구속력 있는 국제 조약이다. 거의 모든 나라가 오존층을 파괴하는 화학물질 생산을 중단하기로 합의했다. 군대는 병사를 영구적으로 실명시키는 무기를 사용하지 않기로 합의했다. 그 규모의 조율은 어렵지만, 이미 이루어졌고 유지되고 있다.

중국에 관한 가정도 생각만큼 탄탄하지 않다. 중국은 세계에서 가장 이른 시기에 인공지능에 대한 구속력 있는 규칙을 제정한 나라 중 하나이며, 2023년 블레츨리 선언에 서명해 최전선 위험을 인정했다. 어떤 정부도 통제할 수 없는 기계를 만들고 싶어 하지 않으며, 중국도 예외가 아니다. 그리고 초지능은 일반적인 무기와 다르다. 소유주를 확실히 강하게 만들어 주지 않는다. 먼저 만든 쪽의 통제에서 벗어날 수 있기 때문이다. 이는 경쟁국들조차 아무도 그것을 만들지 않기를 바라는 공통된 이유를 제공하며, 모든 군축 협정의 논리이자 여기서 조약이 가능하다고 생각하는 근거다.

생각보다 많습니다. ASI 거버넌스를 가능하게 하는 정치적 조건은 시민들이 대표에게 연락하고, 언론인이 이 문제를 보도하며, 기부자가 옹호 활동에 자금을 대고, 법률·정책·경제·커뮤니케이션 분야 전문가들이 기술을 제공하는 등 풀뿌리에서 만들어집니다. 여기서 역할을 하려면 기계학습 박사 학위가 필요하지 않습니다. 현재 단계에서 병목은 기술적이기보다는 정치적입니다.

메일링 리스트에 가입하면 발전 상황과 행동 기회에 대한 정보를 계속 받을 수 있다. 주변 네트워크에 주장을 공유하면 그 영향력이 커진다. 선출직 대표에게 편지를 쓰는 것은 이 이슈에 지지층이 있다는 신호이며, 이는 입법자들이 우선순위를 정하는 방식이다. 경력 이동을 고려 중이라면 AI 정책, AI 안전 연구, 조사 저널리즘, 이 분야의 자선 활동이 가장 영향력 있는 역할에 속한다. 자원이 있다면 지금 이 분야에서 활동하는 단체에 자금을 대는 것이 세계에서 가장 레버리지가 높은 자선 자본 활용 중 하나다.

핵전쟁과 조작된 팬데믹은 문명 규모로 인명을 살상할 수 있습니다. 초지능은 그보다 더 위험하며, 인류가 직면한 최상위 위험입니다.

더 빠르다. 우리의 통제를 벗어난 기계 속도로 작동하는 시스템은 수정할 기간을 남기지 않을 수 있다. 되돌릴 수 없다. 대부분의 재앙은 아무리 파괴적이라도 재건할 누군가를 남긴다. 결정적 전략적 우위를 달성한 ASI는 그렇지 않을 수 있다. 다른 위협 옆이 아니라 위에 있다. 다른 위협을 일으키거나 증폭시키면서(생물무기 가능하게 하고, 권력 집중) 인간의 대응 능력을 제거할 수 있다. 그래서 최우선이다.

명백한 차이부터 시작하겠습니다. 우리는 이 위협 중 하나는 보았고 다른 하나는 보지 못했습니다. 핵무기는 히로시마와 나가사키에서 가장 잊을 수 없는 방식으로 시연되었고, 살아 있는 모든 사람은 버섯구름 이미지를 보고 자랐습니다. 초지능은 아직 아무에게도 피해를 주지 않았습니다. 그 위험은 여전히 그래프 위의 예측이며, 사람들은 직접 보지 않은 위협을 과소평가하는 경향이 있습니다.

이러한 경시를 더욱 심화시키는 요인들이 있습니다. 초지능은 공상과학 소설과 연결되어 경고가 터미네이터 옆에 분류되고 영화 줄거리로 치부되기 쉽습니다. 대부분의 사람이 실제로 접하는 AI는 도움이 되고 무해한 챗봇이며, 이러한 일상 경험이 핵물리학이 극복할 필요가 없었던 방식으로 경고에 조용히 반론을 제기합니다. 그리고 원자폭탄이 소수의 정부에 의해 만들어지고 보유된 것과 달리, 초지능은 수조 달러 규모의 기업들이 개발하고 있으며, 이들은 상업적 이유로 대중의 분위기를 진정시키려 합니다.

비교 속에 숨겨진 잔인한 비대칭이 있다. 핵 금기가 존재하는 이유는 히로시마가 먼저 일어나 교훈을 주었고, 그 뒤에 조약과 훈련이 뒤따랐으며, 교훈을 흡수할 세계가 충분히 남아 있었기 때문이다. 초지능은 그런 두 번째 단계가 없다. 완전한 능력에서 잘못되면 시연과 멸종이 같은 사건이다. 초지능을 핵전쟁만큼 심각하게 다뤄야 하는 이유는 증거가 나타난 뒤가 아니라 나타나기 전에 대비해야 한다는 점이다.

재단은 민간 자금으로 운영되는 자선 활동이다. 정부 자금을 받지 않는다. 인공지능 기업이나 인공지능 개발 속도에 재정적 이해관계가 있는 조직의 자금도 받지 않는다. 상업적 인공지능 이해관계로부터의 독립은 우리 활동의 전제 조건이지, 부수적인 요소가 아니다.

우리는 이들을 독립된 사안으로서 입장을 취하지 않습니다. 우리의 목표는 인공 초지능과 그에 따르는 인류 멸종 위험을 방지하는 것입니다. 구속력 있는 국제 조약이 그 목표를 향해 우리가 보는 가장 영향력 있는 경로입니다.

우리는 개인 보이콧이나 개인 지출 선택이 이를 결정한다고 믿지 않는다. 한 회사가 혼자서 경주를 끝낼 수는 없다. 인센티브는 잘못된 방향을 가리킨다. 누가 늦추면 경쟁자에 뒤처질 위험이 있다. 그것은 경쟁 시스템에 대한 과학적·심리적 사실이지, 어느 한 연구소의 도덕적 실패가 아니다.

인센티브 구조를 바꾸는 것은 거버넌스와 법입니다: 초지능 개발을 불법으로 만들고 위반 시 속임수가 비용이 많이 들게 하는 구속력 있고 검증된 국제 조약입니다. 개인 소비자 선택은 선택 사항입니다. 법을 통한 조정이 필요합니다.