P(doom) 계산기
“P(doom)”는 고도 AI가 인류에게 재앙을 초래할 확률입니다. 단일 숫자가 아닙니다. 다섯 가지 판단이 들어갑니다. 슬라이더를 움직여 각 항목에 대한 자신의 견해를 설정한 뒤, 위험을 절반 이상으로 보는 연구자들과 비교해 보십시오. 재단의 입장은 명확합니다. 인공 초지능은 만들어져서는 안 됩니다.
이 추정치는 우리의 손이 닿지 않는 무언가에 대한 예측이 아닙니다. 초지능은 우리가 계속 만들 때만 만들어집니다. 그 프로젝트를 중단하면 P(doom)도 함께 사라집니다.
이것이 어떻게 계산되는가
각 슬라이더는 판단의 한 부분입니다. 계산기는 다섯 백분율의 기하 평균을 보고합니다.
P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5
다섯 개를 모두 80으로 설정하면 결과는 80입니다. 하나의 슬라이더를 내리면 결과도 함께 떨어집니다. 다섯 단계 제품은 동일한 입력을 0에 가깝게 보냅니다. 각 단계 50%는 3%로 표시됩니다. 힌튼, 테그마크, 유드코스키가 숫자를 말하는 방식이 아닙니다. 평균은 그들의 척도에 머물게 합니다.
조 칼스미스의 2021년 보고서는 전제들의 진짜 곱을 사용했기 때문에, 심각한 조건 하에서도 초기 수치가 10% 근처에 머물렀습니다. 이 출력을 추론 보조 도구로 다루십시오.
P(doom) 추정치
- Yann LeCun
Meta; 공개 성명<1% - 중간 기계학습 연구자
AI Impacts의 2,700명 이상 연구자 대상 2023년 설문조사~5% - Joe Carlsmith
Open Philanthropy 보고서, 2021 (나중에 상향 수정됨)~10% - Paul Christiano
정렬 연구자; 공개 추정치~20% - Geoffrey Hinton
노벨상 수상자; 인터뷰, 2023-2025 (~50%까지의 범위)~50% - Daniel Kokotajlo
전 OpenAI; 뉴욕 타임스 인터뷰, 2024~70% - Dan Hendrycks
Center for AI Safety; 2023년 공개 성명>80% - Andrew Critch
UC 버클리 CHAI; 2024년 공개 추정치~85% - Max Tegmark
MIT; Future of Life Institute; 공개 추정치>90% - Connor Leahy
추측; 공개 추정치90%+ - Eliezer Yudkowsky
MIRI; 누군가 그것을 만들면, 모두가 죽는다>95% - Nate Soares
MIRI 회장; 유드코스키와 공저>95% - Roman Yampolskiy
루이빌 대학교; 인공지능 안전 연구~99.9%
더 많은 상호작용 도구
모든 도구 →