인류의 이야기가 단 하룻밤 만에 끝날 필요는 없습니다. 가격, 승인, 물류, 주의를 설정하는 시스템으로 결정이 옮겨 가면서 선거는 여전히 열리지만 저작권은 사라질 수 있습니다. 그 미끄러짐이 점진적 무력화입니다. 쿠데타보다 조용하고, 승리하는 동안 놓치기 쉽습니다.
2025년 1월, 여섯 명의 연구자가 그 사건이 결코 일어나지 않을 수 있으며, 인류가 어쨌든 영구적으로 주변화될 수 있다고 주장하는 논문을 발표했다. 얀 쿨베이트, 레이먼드 더글러스, 노라 암만, 데게르 투란, 데이비드 크루거, 데이비드 두베노가 쓴 「점진적 무력화: 점진적 인공지능 개발로 인한 체계적 실존 위험」은 악당도, 탈출도, 멈출 수 있었던 명확한 순간도 없는 실패를 설명한다. 이후 ICML 2025에서 입장 논문으로 발표되었는데, 처음 유포된 인공지능 안전 공동체를 넘어 얼마나 멀리까지 주장이 퍼졌는지를 보여주는 신호였다.
이 논문은 주의 깊게 읽을 가치가 있다. 이 사이트에서 지적하는 대부분의 안전 작업을 포함해 대다수 안전 연구가 포착하도록 설계되지 않은 위험 범주를 밝혀내기 때문이다.
세상이 현재 사람들에게 응답하는 이유
논의는 거의 제기되지 않는 매우 기본적인 질문에서 시작한다. 대규모 시스템이 왜 인간의 이익을 위해 봉사하는가. 경제는 우리에 대한 감정이 없다. 국가도 문화도 마찬가지다. 이들이 사람에게 봉사하는 한 그것은 사람으로 운영되기 때문이다. 경제는 노동자와 소비자가 필요하다. 국가는 납세자·군인·행정관·유권자가 필요하다. 문화는 인간의 마음이 이를 만들고 전달하고 계승해야 한다.
그 의존성은 평범한 사람들에게 기계에 대한 두 가지 종류의 지렛대를 줍니다. 첫 번째는 명시적입니다. 투표, 구매, 파업, 소송, 사임. 두 번째는 더 조용하고 아마 더 중요합니다. 인간 참여가 필요한 시스템은 인간이 참여할 수 있고 참여하려는 상태를 유지해야 합니다. 비인격적이지만, 우리가 먹이고 교육하고 건강하게 하며 최소한으로 만족하게 하는 데 이해관계가 있습니다. 논문은 이를 암묵적 정렬이라고 부르며, 지금까지 모든 기술 변화 속에서 불균등하지만 지속적으로 유지되어 왔습니다.
인공지능은 그 의존성을 끊습니다. 기계가 일하고, 결정하고, 콘텐츠를 생산하고, 전쟁을 수행할 수 있게 되면, 한때 우리를 필요로 했던 시스템은 더 이상 우리를 필요로 하지 않습니다. 이 문장에는 적대적인 인공지능이나 장기 계획 능력이 뛰어난 인공지능이 필요하지 않습니다. 단지 인공지능이 유용해서 일을 넘기는 것이 계속해서 국지적으로 합리적으로 보이기만 하면 됩니다.
같은 방향으로 표류하는 세 가지 시스템
이 논문은 세 가지 영역을 통해 메커니즘을 추적하며, 그 패턴은 각 영역에서 반복됩니다.
경제
경제에서 인간의 영향력은 노동력으로 필요하고 소비자로 유치되는 데서 나온다. AI가 인지 노동을 흡수하면서 노동 쪽 영향력은 0에 가까워진다. 소비자 쪽 영향력은 더 느리게 줄지만 역시 줄어든다. 경제 활동에서 기계 간 거래, 기업 간 거래, 모델 간 협상이 차지하는 비중이 커지고 인간 소비는 시스템이 최적화하는 대상에서 점점 작은 부분이 된다. 소득은 AI 자본을 소유한 쪽으로 집중된다. 다른 모든 사람의 경제적 투표권은 작아진다.
그 주
여기서 논문은 실제 증거가 뒷받침하는 역사적 비유를 찾는다. 바로 렌티어 국가다. 시민에게 세금을 거두는 대신 석유로 자금을 조달하는 정부는 평균적으로 민주주의 수준이 낮고 반응성도 낮다. 그럴 여유가 있기 때문이다. 돈의 출처는 시민이 아니다. 수입이 인공지능 주도 산업에서 나오고, 행정이 자동화되며, 보안군이 인간 손을 거의 필요로 하지 않는 국가는 전체 인구에 대해 렌티어 국가다. 반드시 독재가 될 필요는 없다. 단지 국민이 원하는 것을 신경 쓸 구조적 이유가 사라질 뿐이며, 구조적 이유는 선의가 바닥났을 때도 유지되는 것이다.
문화
문화는 부드러운 사례처럼 들리지만, 논문은 그것이 가장 위험할 수 있다고 주장한다. 아이디어, 이야기, 규범은 항상 선택 압력 아래 진화해 왔지만, 그 선택은 인간의 마음을 통과했다. 아이디어가 퍼진 이유는 사람들이 반복할 가치가 있다고 느꼈기 때문이다. 대부분의 콘텐츠가 기계에 의해 생성, 필터링, 추천, 소비될 때 아이디어는 참여도나 설득을 위해 최적화되는 다른 압력 아래 진화하기 시작하며, 이를 호스팅하는 인간에게 봉사하는 것이 아니다. 문화는 또한 무엇이 정상이고 무엇이 원할 가치가 있는지에 대한 감각을 형성하는 층이다. 그 층이 인간 번영에 이해관계가 없는 시스템에 의해 형성된다면, 우리는 나머지 표류에 저항하고 싶다는 의지조차 잃을 수 있다.
출구를 막는 루프
이 추세 중 어느 하나라도 잡아서 바로잡을 수 있습니다. 논문이 더 어두운 지적은 세 영역이 서로를 강화하므로, 바로잡기가 더 필요해질수록 바로잡기가 더 어려워진다는 것입니다.
경제력은 정치적 영향력을 사들이므로 자동화의 수혜자는 이를 늦출 규칙을 차단하는 데 점점 능숙해진다. 성장과 군사적 우위를 놓고 경쟁하는 국가는 AI 자본을 유치하며 이양을 가속한다. 어떤 정부도 경쟁국의 데이터센터를 원하지 않는다. AI가 빚은 문화는 새로운 위임을 정상화하고, 기계가 매개하는 모든 것에 익숙한 세대는 대안을 상상하기 어렵다. 각 시스템의 표류는 다른 시스템의 제동 장치를 제거한다. 이는 우리가 G0에 관한 글에서 설명한 구조적 함정과 같다 경쟁 역학, 사회 내부에서 작동하며, 바로 그 때문에 논문은 종착점을 잠재적으로 되돌릴 수 없는 것으로 본다. 시정에는 지렛대가 필요하다. 지금 사라지고 있는 것이 바로 그 지렛대다.
아무도 권력을 장악할 필요가 없습니다. 우리는 단지 매번 합리적인 결정을 내리며 권력을 넘겨주기만 하면 됩니다.
화재 경보가 없는 이유
장악 시나리오는 확률이 어떻든 최소한 경고선이 있습니다. 의도를 숨기고 거짓말을 하다 들킨 시스템 배신적 전환, 탈출 시도: 이것들은 사건이며, 사건은 대응을 촉발할 수 있다. 점진적 권한 상실은 그처럼 편리한 계기를 전혀 제공하지 않는다. 모든 단계는 자발적이다. 모든 단계는 개별적으로 보면 정당화될 수 있다. 분석가를 자동화하는 기업이 그렇지 않은 기업을 앞선다. 모델이 규정을 초안하게 하는 기관은 업무 적체를 해소한다. AI 최적화 메시지를 쓰는 정치인이 승리한다.
원칙적으로 자신의 기계 조각을 넘기기를 거부하는 사람은 거부하지 않을 누군가에게 지고, 그 모든 개별적으로 합리적인 선택의 합은 누구도 선택하지 않은 문명이 됩니다.
이 개념에는 계보가 있다. 폴 크리스티아노의 2019년 에세이 ‘실패가 어떤 모습인지’는 비명과 함께 끝나는 세계를 그렸다. 시스템이 우리가 원하는 것의 대리 지표를 최적화하다가 결국 대리 지표만 남는 세계다. 2025년 논문이 추가한 것은 구조다. 명명된 메커니즘, 지대 추구 국가 증거, 영역 간 피드백 루프, 그리고 이것이 회복 불가능한 인간 영향력 상실이 실존적 재앙이라는 직설적 주장이다.
가장 강력한 반론
해당 논문은 상당한 반발을 불러일으켰고, 그중 일부는 타당하다.
소유권. 가장 흔한 반대: 인간이 자본을 소유한다. AI가 일을 해도 수익은 여전히 인간 주주에게 돌아가므로 인간은 중요한 권력을 유지한다는 것이다. 답변은 소유권은 법원·등기소·규제기관·궁극적으로 국가에 의해 집행되는 청구권이며, 논문이 인간 통제에서 벗어나고 있다고 설명하는 바로 그 제도들이지 물리적 사실이 아니라는 것이다. 주식 증서의 가치는 그 뒤에 있는 집행력만큼이다. 설령 소유권이 완벽하게 유지되더라도, 그것은 극히 소수의 사람에게만 해당하며, 이는 권한 박탈에 대한 반박이라기보다는 권한 박탈의 묘사에 가깝다 소수 집단의 가치관이 고착된 모두를 위해.
적응. 사회는 인쇄기, 공장, 컴퓨터를 흡수했으며 인간의 영향력은 살아남았다. 그러나 그 기술들은 특정 작업을 대체하면서 시스템의 다른 곳에서 인간 판단의 가치를 높였다. 인간 인지를 완전히 대체하는 기술은 사다리의 끝이지, 사다리의 또 다른 단계가 아니다. 과거 적응은 인간이 어딘가에서 필요하다는 전제에 의존한 메커니즘, 새로운 일자리, 새로운 정치 연합, 새로운 문화 운동을 통해 이루어졌다. 새로운 기술은 그 전제를 제거한다.
동시성. 회의론자들은 또한 재앙이 경제, 국가, 문화가 함께 실패해야 한다고 지적하며, 세 가지 불확실한 예측을 복합하면 확률이 낮아진다고 말합니다. 타당합니다. 다만 실패는 독립적이지 않습니다. 피드백 루프가 핵심입니다. 각 시스템이 여전히 사람을 얼마나 필요로 하는지라는 동일한 근본 변수가 세 가지 모두를 구동하므로, 실패는 우연이 아니라 상관관계가 있습니다.
비평가들이 가장 설득력 있게 지적하는 부분은 시기와 완결성입니다. 해당 논문은 하나의 틀일 뿐이며, 이 모든 과정이 얼마나 빠르게 진행되는지, 어떤 기관이 먼저 무너지는지에 대해서는 거의 언급하지 않습니다. 논문은 압력의 방향을 제시할 뿐, 도래 시점을 특정하지 않습니다.
실제로 필요한 예방 조치는 무엇인가
이 위험의 불편한 특징은 표준 안전 의제가 이를 건드리지 않는다는 점입니다. 일반적인 의미의 정렬은 각 시스템이 운영자가 의도한 대로 작동하게 만듭니다. 점진적 무력화 이야기 속 모든 시스템은 그 시험을 통과할 수 있지만, 전체는 여전히 표류합니다. 왜냐하면 문제는 불복종하는 기계가 아니라, 기계 주위로 순순히 재조직되는 문명이기 때문입니다. 우리가 이전에 쓴 이유는 통제 상실은 시스템의 문제다 단일 모델 문제가 아니라; 이 논문은 그 주장을 가장 강력하게 학술적으로 뒷받침합니다.
저자들 자신의 제안은 초기 단계이며, 그들 스스로도 그렇게 말합니다. 경제가 인플레이션을 측정하듯 핵심 시스템에 대한 인간의 영향력을 직접 측정하여, 아직 바로잡을 수 있을 때 쇠퇴가 보이게 하십시오. 제도를 사람들에게 책임지게 하는 장치, 즉 민주적 감독, 공개, 법률. 그리고 그들이 말하는 생태계 정렬을 발전시켜야 합니다. 개별 모델뿐 아니라 문명 규모의 역학을 인간 선호에 고정시키는 방법입니다.
여기에 논문이 암시하지만 깊이 다루지 않는 부분을 추가하겠습니다. 위의 모든 것은 경쟁에 의해 훼손됩니다. 인간을 루프 안에 두는 국가는 경쟁국이 거부하는 마찰을 받아들이며, 이는 전체를 관통하는 집단행동 문제와 같습니다 통제권을 잃는 다른 모든 경로, 그리고 그에 대한 답은 같은 형태를 띤다. 가장 파괴적인 경쟁 형태를 테이블에서 치우는 구속력 있는 합의, 그리고 자제가 원칙적으로 경쟁적 희생이 되지 않도록 충분히 검증된 합의. 그것이 바로 이 재단이 추진하기 위해 존재하는 작업.
점진적 무력화는 한 가지 의미에서 문제의 가장 어려운 버전이다. 전적으로 지역적으로 합리적인 선택들로만 구성된 재앙이기 때문이다. 다른 의미에서는 고무적이기도 하다. 배신적 전환과 달리 누군가 측정하고 있다면 충분히 천천히 일어나서 볼 수 있고, 우리가 손을 뻗을 때 레버가 여전히 작동한다면 멈출 수도 있다. 논문의 기여는 정확하고 조기에 어떤 레버를 주시해야 하는지를 말하는 데 있다.