초지능을 절대 만들지 말라

안전한 조치는 거부입니다. "나중에 고치겠다"는 시스템이 도구를 쥔 사람들보다 더 똑똑해지면 실패합니다.

사후 대책은 없습니다. 살아 있는 모든 인간보다 똑똑한 마음이 기계 속도로 작동한다면 우리의 다음 회의를 기다리지 않습니다.

비가역성

대부분의 기술은 우아하게 실패합니다. 초지능은 그렇지 않습니다. 일단 시스템이 스스로 복제하고, 의도를 숨기거나, 플러그를 뽑기에는 너무 유용해지면 롤백과 회수는 작동을 멈춥니다.

뛰어난 능력이 있다고 해서 시스템이 친절해지는 것은 아닙니다. 인간의 경우 기술과 배려는 함께 성장했습니다. 훈련된 최적화기는 그러한 역사를 전혀 물려받지 않습니다. 공유된 가치 없는 능력은 억제 없는 권력입니다.

거의 모든 목표에 대해, 전원을 켜고 자원을 모으는 것은 도움이 됩니다. 목표를 추구하는 시스템은 종료를 장애물로 여깁니다. 이는 악당의 독백이 아니라 평범한 최적화입니다.

항공은 추락에서 배웠습니다. 의약품은 임상시험에서 배웠습니다. 첫 번째 통제 불능의 초지능이 실험을 끝낸다면, 우리는 두 번째 프로토타입을 얻지 못합니다.

우리는 전기나 소프트웨어, 유용한 AI에 반대하지 않습니다. 통제 문제가 미해결 상태에서 의도적으로 후속 종을 만드는 데 반대합니다. 건강과 에너지, 발견은 이미 우리가 구축하고 규제하는 방법을 아는 좁은 도구에서 나옵니다.

전체 사례, 반대 의견 및 정책 경로.

nakadafoundation.org/blog/never-build-superintelligence/