결론을 제목에 명시하는 책은 거의 없습니다. 누군가 그것을 만들면, 모두가 죽는다, 2025년에 기계지능연구소의 엘리저 유드코스키와 네이트 소아레스가 출간한 책은 정확히 그 일을 합니다. 주장인즉슨, 어떤 그룹이 오늘날과 비슷한 방법으로 초지능 AI를 구축한다면 결과는 최악의 경우가 아니라 기본적으로 인류 멸종이라는 것입니다. 이는 분야에서 가장 타협 없는 입장으로 일반 독자를 위해 제시되었으며, 주장을 주류 시야로 밀어 올렸습니다.

그 책은 이해할 가치가 있다. 왜냐하면 현재 이용 가능한 어떤 것보다 비관적 주장을 더 명확하게 펼치기 때문이다.

세 가지 움직임으로 본 논증

이 책은 세 부분으로 구성되어 있습니다.

먼저 위험에 대한 주장이다. 우리는 인간보다 훨씬 더 유능한 AI를 구축하는 길 위에 있다. 우리는 그러한 시스템에 인간의 생존과 번영에 진정으로 부합하는 목표를 부여하는 방법을 알지 못하며, 기본적으로 현재 우리가 명시할 수 있는 거의 모든 목표를 추구하는 초지능 시스템은 인류를 장애물이나 자원으로 취급할 것이다. 저자들은 우리가 다른 곳에서 다루는 메커니즘, 즉 능력이 자비를 의미하지 않는다는 점, 유능한 최적화기는 수정을 거부한다는 점, 우리가 시스템이 실제로 원하는 것을 검증할 수 없다는 점에 의존한다. 이들의 독특한 주장은 이러한 문제가 해결에 가까워지지 않았으며 실패가 단지 나쁜 것이 아니라 치명적이라는 데 대한 확신의 정도다.

두 번째는 구체적인 이야기다. 위험을 추상적으로 남겨 두지 않고, 책은 초인적 AI가 어떻게 권력을 장악하고 인간의 통제를 끝낼 수 있는지에 대한 구체적인 시나리오를 서술한다. 저자들은 어떤 단일 이야기도 세부적으로는 있을 법하지 않다고 명확히 밝히며, 요점은 추상적 메커니즘을 생생하게 만드는 것이다.

셋째, 무엇을 할 것인가. 그들의 처방은 진단만큼 직설적입니다. 초지능 AI 개발에 대한 국제적 중단을 진지하게 집행하고, 최전선 시스템 훈련에 필요한 컴퓨팅 하드웨어에 대한 통제를 포함하여 영구적으로 유지하는 것입니다. 초지능은 인간이 통제할 수 있는 것이 아니라, 단지 희망할 수 있는 대상이 아닙니다.

이 책의 핵심 주장은 현재 경로에서는 잘못되는 것이 예상되는 결과이며, 잘못된다는 것은 AI가 잘못될 수도 있다는 것이 아니라 모두가 피해를 본다는 것입니다.

가장 강력한 반론

가장 흔한 반론은 확신의 정도에 관한 것이다. 비판자들은 인공지능 위험이 실재하고 심각하다는 점은 받아들이면서도 멸종이 거의 불가피하다는 주장은 거부한다. 저자들이 능력 성장 속도, 정렬의 어려움, 장악이 어떻게 전개될지에 관한 논쟁적인 전제를 증거가 뒷받침하는 것보다 더 큰 확신으로 다룬다고 주장한다. 다른 이들은 정렬 진전이 책에서 인정하는 것보다 더 유망하거나, 비관주의가 치명주의를 조장해 행동을 저해한다고 주장한다.

이들은 정당한 지적이며, 책의 확신은 가장 논쟁의 여지가 있는 특징입니다. 확신이 과장되었다고 느끼면서도 논쟁은 여전히 불편할 수 있습니다. 반대 의견 대부분은 위험이 실재하는지 여부가 아니라 우리가 얼마나 확신해야 하는지를 공격하기 때문입니다.

재단이 도달한 결론

우리는 이 책의 핵심 신념을 공유합니다. 즉 우리는 초지능을 정렬하는 방법을 알지 못하며, 현재 궤도로 초지능을 만드는 것은 용납할 수 없는 도박이고, 책임 있는 대응은 문제가 해결될 때까지 중단하는 것이라는 점입니다. 우리 글은 그 이유를 다룹니다 정렬은 해결 불가능할 수 있습니다 그리고 왜 정렬되지 않은 초지능은 바람직한 미래를 가져다주지 않습니다.

우리가 다른 점은 강조점과 어조입니다. 그 책은 정렬 문제를 제때 해결할 수 있을지 거의 절망에 가까운 태도를 보입니다. 우리는 그 책 자체가 지지하는 해결책인 구속력 있는 국제적 중단의 실현 가능성에 무게를 두고, 이를 희망 없는 기대가 아니라 실제 선례가 있는 구체적인 정치·법적 과제로 다룹니다 초지능에 관한 성명, 해당 분야의 창립자들이 다수 서명한 이 선언은 일시 정지 요구가 주류로 들어섰음을 보여줍니다 누군가 그것을 만들면, 모두가 죽는다 처방이 합리적이라고 결론 내리게 한다. 기대값 논증은 재단 글에서 자세히 다룬다 P(doom), 는 저자들이 가진 확신보다 훨씬 낮은 수준에서도 그곳에 도달하게 합니다. 그 처방을 현실로 만드는 일은 우리의 계획.