P(doom)는 공식 논문의 기술 용어가 아닙니다. 2020년 이전 대부분의 연구자가 숫자를 붙이지 않았을 확률 추정치의 약어로 온라인 AI 안전 논의에서 생겨났습니다. 이를 수치화하려는 의지(재앙적 AI 위험을 막연히 언급하는 대신 추정할 확률로 다루려는 태도)는 AI 개발에 가장 가까운 사람들이 문제를 생각하는 방식에서 의미 있는 변화 중 하나입니다.
연구자와 정렬의 어려움 거버넌스 속도를 어떻게 평가하느냐에 따라 추정치는 몇 퍼센트에서 50퍼센트 이상까지 다양합니다. 여기서 그 범위가 말해주는 것과 낮은 확률이라도 진지한 주의가 필요한 이유를 설명합니다.
P(doom)에서 말하는 “파멸”은 의도적으로 구체화하지 않았습니다. 연구자마다 인간 멸종, 인간 자율성의 영구적 상실, 단일 행위자에게 권력이 영구 집중되는 경우, 또는 그 밖의 문명적 재앙을 의미합니다. 이 모호함은 인정된 것이며, 용어의 목적은 위험이 “실제”인지 “추측”인지에 대한 직관에 의존하지 않고 위험에 대해 명시적이고 정량화된 추론을 강제하는 데 있습니다.
추정치들이 어떻게 생겼는지
이들 연구자 사이의 범위는 두드러진다. 힌튼과 유드코스키는 수십 퍼센트 포인트 차이가 난다. 칼스미스의 형식적 분해는 단일 추정치가 아니라 넓은 범위를 산출했으며, 각 중간 단계에서 진정한 불확실성을 반영했다. 추정치들이 공유하는 점은 모두 중요하다는 것이다. 문제를 진지하게 다루고 수치를 제시한 안전 중심 연구자 중 5% 아래로 내려간 사람은 없다.
각 핵심 쟁점에 대한 자신의 견해를 설정하고, 그것들이 하나의 추정치로 어떻게 곱해지는지 지켜보세요.
넓은 범위가 존재하는 이유
P(doom)라는 숫자는 여러 불확실한 중간 질문들의 곱이다. AI 능력이 얼마나 빠르게 발전할까? 우리가 테스트한 수준을 넘어선 능력에서 정렬 문제는 얼마나 어려울까? 주어진 능력 수준의 비정렬 AI가 국한된 피해가 아니라 파국적 피해를 일으킬 가능성은 얼마나 될까? 거버넌스가 임계 능력 문턱에 도달하기 전에 효과적으로 대응할 가능성은 얼마나 될까?
서로 다른 연구자들이 이 질문들에 대해 서로 다른 분포를 갖고 있으며, 그 추정치는 복합됩니다. 정렬 문제가 다루기 쉽고, 능력이 비교적 느리게 발전하며, 거버넌스가 제때 대응할 것이라고 생각하는 연구자는 각 질문에 대해 반대 입장을 가진 연구자보다 전체 추정치가 훨씬 낮아집니다. 넓은 범위는 각 요소에 대한 진정한 불확실성을 반영하며, 동일한 증거를 더 주의 깊게 검토하면 해결될 의견 차이가 아닙니다.
기대값 논증
비사소한 P(doom) 추정에 대한 흔한 반응은 다음과 같다. "10퍼센트조차 사회를 재편할 만큼 높아 보이지 않는다." 이 반응은 다른 위험 맥락에서는 받아들여지지 않을 기대값 추론의 실패에 의존한다.
수백만 명을 죽일 수 있는 대규모 팬데믹의 연간 확률은 1% 미만으로 추정되지만, 팬데믹 대비는 상당한 세계적 투자와 정책 관심을 받는다. US에서 자동차 사고로 사망할 평생 확률은 대략 1%이며, 도로 안전 규제는 완전히 정상으로 여겨진다. 문명적 재앙 확률 10%(또는 5%)가 심각한 예방 투자를 정당화하지 않는다는 주장은 다른 영역에서 위험을 다루는 방식과 일관되지 않는다.
기대값은 확률 곱하기 규모다. 회복 불가능하고 문명 규모의 위험(나쁜 결과에서 회복이 불가능하고, 그 결과가 모든 미래 가치를 막는 경우)에서 예방의 기대값은 확률이 10%를 훨씬 밑돌아도 매우 크다. 모든 것을 잃을 1% 확률은 모든 것의 1%에 해당하는 기대 비용이며, 장기 미래가 담고 있는 규모에서 이는 엄청난 숫자이지 1% 문제가 아니다.
P(doom)을 낮추는 것
높은 P(doom) 추정치를 밝히는 연구자들은 가장 중요한 작업이 어디서 이뤄져야 하는지를 진단하는 것이지, 나쁜 결과에 체념하는 것이 아닙니다. 대부분의 연구자 추정치에서 P(doom)를 낮출 수 있는 요인들은 잘 알려져 있습니다 해석 가능성 도구 최전선 시스템에서 정렬을 검증할 수 있는 능력; 인간 전문가 수준을 넘어서는 능력 수준에서도 유지되는 확장 가능한 감독 접근법; 실제 집행력을 갖춘 구속력 있는 국제 거버넌스 체제; 그리고 안전이 위험한 능력 수준에 도달하기 전에 확립되도록 정렬 연구보다 능력 개발이 더 느리게 진행되는 것.
이것이 재단이 특정 P(doom) 추정치를 권위 있는 답으로 취급하거나 위험을 일축하는 대신, 거버넌스 체계와 정렬 연구를 주요 수단으로 삼는 이유입니다. P(doom)의 불확실성은 더 많은 정보를 기다릴 이유가 되지 않습니다. 나쁜 결과는 특정 능력 임계점에서 도래하며, 무기한 예방 조치를 미룰 수 있는 일정에 따라 오지 않습니다.