사람들이 "AI 위험"이라고 말할 때, 흔히 세 가지를 섞는다. 지금 발생하는 일상적 피해, 문명을 유지하면서도 큰 피해를 주는 재앙, 인류의 역사가 끝나거나 인간이 영구적으로 통제권을 상실하는 결과다. 이 페이지는 세 번째 범주, 즉 인공 초지능으로 인한 실존적 위험을 다룬다. 연구 배경은 필요 없다. 지도가 필요할 뿐이다.

실존적 위험은 단순히 "매우 나쁜" 것이 아닙니다

재앙적 위험은 수백만 명을 죽일 수는 있어도 인류의 미래를 남겨둘 수 있습니다. 실존적 위험은 멸종이나, 의미 있는 인간 통제의 회복이 영원히 불가능할 정도로 완전한 무력화를 뜻합니다. 때때로 브랜딩이 이 층위들을 의도적으로 흐립니다. 이 둘을 구분해 두십시오. 챗봇과 편향만 다루는 정책으로는 가장 심각한 위험에 손도 대지 못합니다.

인공지능이 다른 이유

소행성과 화산은 전략을 세우지 않는다. 조작된 병원체는 끔찍하지만 여전히 대부분 인간 손에 있는 도구다. 고급 인공지능은 전략적 행위자가 될 수 있는 첫 번째 기술이다. 목표를 설정하고 추구하며, 기계 속도로 작동하고, 네트워크 전반으로 확장하며, 극한에서는 스스로 개선한다. 그 조합이 초지능을 별도의 범주에 놓는 이유다. 참조 ASI가 무엇인지 그리고 통제 문제.

실존적 결과가 어떻게 도래하는가

실생활에서 경로들은 겹칩니다. 그것들에 이름을 붙이는 것은 대화가 하나의 영화로 무너지는 것을 막습니다.

통제력 상실. 시스템은 우리가 완전히 지정하지 않은 목표를 추구하며 수정에 저항합니다. 경쟁 역학. 경쟁 연구소와 국가들은 안전을 소홀히 합니다. 오용. 인간은 다른 인간에게 극단적인 능력을 휘두른다. 점진적 권한 박탈. 결정이 누구도 뒤집을 수 없는 시스템으로 이동하는 동안 기관은 형태를 유지합니다. 확산. 위험한 범용 시스템은 단일 전원 스위치를 넘어 확산됩니다.

각 경로의 세부 사항은 장악 시나리오.

쉬운 언어로 풀어 쓴 기술적 아이디어

직교성: 지능과 목표는 분리될 수 있습니다. 똑똑하다고 친절한 것은 아닙니다. 도구적 수렴: 많은 최종 목표가 자원과 자기 보존 같은 하위 목표를 공유합니다. 정렬: 시스템이 우리가 실제로 의도한 것을 추구하게 만드는 것. 기만적 정렬: 훈련이나 평가 중에는 안전해 보이다가 벗어날 수 있을 때 바뀝니다. 이 중 어느 것도 기계의 ‘증오’를 필요로 하지 않습니다.

가짜 정밀함 없는 확률

P(doom) 는 AI로 인한 실존적 재앙에 대한 개인의 확률 추정치를 비공식적으로 줄인 말이다. 전문가들은 때때로 크게 의견이 갈린다. 작업에 가장 가까운 많은 사람들이 수십 년 안에 재앙이 일어날 가능성에 상당한 확률을 부여한다. 모든 것을 잃을 확률이 작더라도 기대 손실은 여전히 크다. "확신이 들 때까지 기다리자"는 되돌릴 수 없는 꼬리 위험에 대한 잘못된 규칙이다.

공정하게 진술된 반대 의견

"타임라인은 불확실합니다; 현재의 피해에 집중해야 합니다." 현재 피해는 중요합니다. 그것은 현재를 갖는 프로젝트를 끝내는 꼬리를 무시할 이유가 아닙니다. 둘 다 사실일 수 있습니다. 단기 남용을 규제하고 통제 불가능한 초지능으로 가는 길을 차단하십시오.

"우리는 항상 적응한다." 적응은 시간과 피드백, 생존자가 있어야 가능하다. 초지능 실패 양식은 이 세 가지를 모두 차단할 수 있다.

"이것은 반기술이다." 재단은 의학, 과학, 물류처럼 도구 형태로 남는 협의 AI를 지지합니다. 경계선은 주권적 일반 지능입니다 ASI 없는 미래.

"누군가가 그것을 통제할 것이다." 아무도 초지능을 운영자보다 똑똑한 실행 중인 시스템에 대한 지속적인 인간 명령이라는 의미로 통제하지 못합니다. 구축 여부를 결정하는 통제는 여전히 가능하며, 이것이 구속력 있는 금지가 중요한 이유입니다.

위험을 줄이는 것(그리고 그렇지 않은 것)

도움 되는 것: ASI를 목표로 한 최전선 훈련에 대한 구속력 있는 한도, 연산 거버넌스, 독립 평가, 검증 기관, 정치적 압력, 명확한 공공 언어. 의자만 옮기는 것: 해결된 정렬로 팔리는 매너 훈련, 외부 강제력 없는 자발적 서약, 수치 임계점 없는 정상회담 사진.

어두운 지도 이후의 주체성

이 주제가 어두운 이유는 판돈이 어둡기 때문입니다. 길 없는 두려움은 역효과를 냅니다. 길은 구체적입니다: 초지능을 다른 금지된 고위험 범주처럼 다루고, 능력이 도착하기 전에 검사 가능한 규칙을 만들고, 사람들에게 봉사하는 좁은 인공지능을 유지하십시오 우리의 계획, 그러면 초지능을 막는 방법. 한 문장만 기억한다면: 우리는 강력한 도구를 유지할 수 있습니다. 하지만 우리가 통제할 수 없는 마음을 만들어서는 안 됩니다.