나는 언젠가 2026년보다 더 많은 물리학으로 중력을 제어하고 웜홀을 열고 빛보다 빠르게 이동할 수 있게 될 것이라고 믿는다. 현재 지식으로는 불가능하다. 그래도 우리는 아직 알려진 것의 극히 일부만 파악했다고 생각한다. 이는 우리의 과학이 얼마나 젊은지에 대한 현실주의로 읽힌다.
내가 아무리 오래 고민하고 아무리 많은 사람과 이야기해도 이해할 수 없었던 미래 하나. 우리보다 똑똑한 존재에 대한 지속 가능한 통제다. 생물학적이든 기계적이든. 이 행성에서든 다른 곳에서든. 다른 마음이 인류보다 똑똑하다면 통제 이야기가 성립하는 방식을 나는 볼 수 없다.
점수판
모양을 피하기 어렵게 대략적인 숫자를 붙이십시오. 함께 일하는 인류 전체의 지식과 기술을 100으로 보십시오. 보통 사람은 그중 아주 작은 조각, 종종 한 자릿수 이하를 가집니다.
이제 우리가 완벽하게 실행한다고 상상해 보세요. 모든 관련 인간, 연구소, 정부가 참여합니다. 낭비도 지연도 없습니다. 전체 100을 테이블 위에 올려놓습니다.
상대편에게 더 높은 상한선을 주십시오. 최대치를 200으로 설정하십시오. 좋은 날이 아니어도 됩니다. 51퍼센트 효율만으로도 102점을 넘깁니다. 완벽한 인간 총점을 반쯤 졸면서도 이깁니다.
그 우위는 서류상으로는 미미해 보인다. 실제 경쟁은 큰 격차를 기다리지 않는다. 인간 전쟁에서 한쪽은 종종 정보, 병참, 무기에서 약간의 우위만으로도 결정적 승리를 굳힐 수 있었다. 얇은 우위가 언제나 완전한 결과로 끝난다. 그렇다면 우리보다 훨씬 똑똑한 존재를 어떻게 이길 것인가, 동급 상대가 아니라?
방법이 보이지 않습니다. 더 나은 프롬프트도 소용없고, 위원회도, 약한 쪽이 강한 쪽을 위해 작성한 헌법도 소용없습니다.
물리학은 적이 아니다
사람들은 중력선에서 어려운 문제는 결국 풀린다는 일반적인 믿음을 듣는다. 일부 어려운 문제는 그렇다. 힘과 물질은 에이전트가 아니다. 그들은 당신의 계획을 우회하거나 테스트를 모델링해 전략을 숨기지 않는다. 물리학을 확장하는 것은 여전히 어렵다. 통치자를 능가하는 지능을 통치하는 것은 다른 종류의 어려움이다.
통제는 우리가 아는 모든 지속 가능한 사례에서 경계선 위에서 작동한다. 힘, 법, 비밀, 전원 스위치, 또는 상대방이 단순히 앞서가지 못하는 경우다. 초지능은 그 경계선을 의도적으로 지우는 프로젝트다. 결국 감독에서, 허점 찾기에서, 플러그를 뽑으려는 의도를 알아채는 데서 당신을 이길 플레이어를 감독하려는 시도다.
희망적인 버전들을 들었습니다. 우리는 함께 성장할 것이다, 우리는 융합할 것이다, 우리는 사랑으로 키울 것이다, 우리는 확신할 때까지 상자에 가둘 것이다. 모든 버전은 여전히 약한 쪽이 강한 쪽에게 영구적인 조건을 정한다고 가정합니다. 그 바람은 이해하지만, 그 메커니즘은 찾을 수 없습니다.
재단이 존재하는 이유
통제를 볼 수 없다면 그것을 요구하는 것을 만들지 말라. 이것은 기술에 대한 반대가 아니다. 도구로 남는 좁은 도구는 의학, 과학, 산업을 계속 개선할 수 있다. 선은 인공 초지능이다. 전반적으로 우리를 능가하고 더 이상 인간의 명령 아래 있지 않은 일반적인 마음이다.
Nakada Foundation를 시작한 이유는 그 선이 공학 일정으로 취급되고 종을 위한 정지 신호로 여겨지지 않기 때문입니다. 연구소들은 경쟁하고, 정부들은 승리를 말합니다. 안전 작업은 종착지를 전제하고 충돌을 완화하려 합니다. 충돌 자체가 문제입니다. 지능 격차를 넘어서는 정렬은 불가능합니다 당신이 존재하도록 정의한 것입니다. 더 넓은 논의는 위협 및 우리의 계획.
오늘날 물리학 기준으로 마법처럼 보이는 미래의 가능성은 여전히 남겨 둡니다. 그러나 인간보다 똑똑한 존재를 인간이 통제할 수 있다고 종 전체를 걸지는 않겠습니다. 초지능은 인간이 통제할 수 없습니다. 합리적인 선택은 그것을 만들지 않는 것입니다.