"초지능 개발을 멈추면 다른 누군가가 할 것이다." 이는 수많은 방에서 대화를 끝내는 말입니다. 지리와 게임 이론처럼 들리지만, 종종 그렇지 않습니다. 종종 이는 개발을 불가피하다고 부르며 계속 진행하려는 방식입니다. 이미 우리가 다룬 기술로 같은 논리를 적용해 보십시오. "염화불화탄소 냉장고 생산을 멈추면 다른 누군가가 계속 만들 것이다."
그렇다. 그들은 냉장고를 계속 만들었다. 하늘에 구멍을 내는 화학물질 사용을 중단했을 뿐이다.
두 개의 다른 명사
냉장고는 서비스다. 차가운 음식, 백신, 부패 감소. 염화불화탄소는 그 서비스를 얻는 한 가지 방법이었고, 화학적 사실이 분명해지자 오존층에 재앙이 되었다 Montreal Protocol 추위를 불법화하지 않았습니다. 피해를 일으키는 물질의 단계적 폐기를 계획하고, 가난한 나라를 위한 대안을 지원했으며, 무역 압력으로 합의를 뒷받침했습니다. 업계는 단계적 폐기가 불가능하다고 말했습니다. 냉장고는 그대로였고, 염화불화탄소만 사라졌습니다.
초지능 수사는 두 명사를 하나로 합칩니다. 'AI'는 암 모델, 경로 계획기, 그리고 인류보다 똑똑한 가상의 에이전트를 모두 하나의 덩어리로 만듭니다. 마지막 항목을 거부하면 슬로건은 앞의 항목들도 거부했다고 말하며 덜 양심적인 누군가가 전부를 출시할 것이라고 압박합니다. 이 수법은 독을 제품과 동일시해 독을 제거하는 일이 제품에 대한 전쟁처럼 들리게 만듭니다.
오존층을 구하기 위해 먼저 구멍을 만들겠다고 약속한 것이 아닙니다. 냉장고는 유지하고 화학물질은 폐기했습니다.
"다른 누군가가 할 것이다"가 의미하는 것
경쟁 연구소나 경쟁 국가가 당신이 그은 선을 넘어 훈련을 시도할 수 있다. 그 가능성은 대비할 만큼 현실적이다. 또한 군비 통제가 다루기 위해 만들어진 가능성이기도 하다. "누군가 핵을 만들지도 모른다"는 대답은 "그렇다면 우리는 무한히 실험해야 한다"가 아니었다. 검증, 핵분열 물질에 대한 병목 지점, 그리고 이탈에 대한 대응이었다.
컴퓨트는 우라늄보다 복잡하며, 진지한 누구도 그렇지 않다고 주장하지 않습니다. 그래도 물리적이고, 최전선에서는 비싸며, 소수의 칩 제조사·파운드리·클라우드 지역을 거칩니다. 그것만으로도 검사 체계를 구축하기에 충분한 구조이며, 그래서 연산 거버넌스 는 모든 진지한 조약 초안에 등장합니다. "다른 누군가가 할 것이다"는 그 작업을 건너뛰고 곧바로 허가를 구합니다.
건너뛰기로 누가 이득을 보는지 주목하십시오. 자제가 일방적 항복으로 규정된다면, 유일한 성숙한 태도는 전속력입니다. 투자자들은 운명을 듣고, 안전 담당자들은 속도를 늦추는 것이 순진하다고 듣습니다. 이 슬로건은 메커니즘에 대한 논쟁에서 이길 필요가 없습니다. 단지 세 번째 선택지인 공동 자제가 유치하게 느껴지게 만들면 됩니다.
냉장고는 결코 적이 아니었다
우리는 질병을 진단하고, 신약을 설계하며, 교량의 결함을 찾아내는 좁은 AI를 원합니다. 그 점을 분명히 밝혀 비방이 붙지 않도록 하세요. 재단의 입장은 인공 초지능을 만들지 않겠다는 거부입니다 인간의 통제를 초월하고 대체하는 시스템 통제 문제가 해결되지 않은 채로.
그것은 "냉장 보관을 금지하라"가 아니라 "다른 냉매를 사용하라"에 가깝습니다. 그 구별을 무너뜨리는 사람들은 유용한 AI의 인기를 도구로 남지 않을 능력의 방패로 이용하고 있습니다.
오존층 보호 싸움이 실제로 가르쳐주는 것
몬트리올이 성공한 이유는 과학이 분명해졌고 대체재가 존재했으며, 이탈자들이 무역 비용을 감수해야 했기 때문입니다. 초지능은 "전략적 우위"에 대한 대체재가 더 어렵고, 슬로건이 무시하는 한 가지 점에서는 더 쉽습니다. 즉, 어떤 주요 강대국도 누구의 통제도 받지 않는 시스템에 일관된 이해관계를 갖지 않는다는 점입니다. 공유된 취약성이 협상의 원자재입니다. 우리는 이 주장을 중국 신화 쪽과 인종 신화 에세이를 참조하십시오. 요약하자면, 경쟁에 대한 두려움은 공허한 결승점이 보일 때 경쟁 질주에 자금을 대는 것만큼이나 조약에도 자금을 댈 수 있습니다.
그들이 어떤 명사를 의미하는지 물어라. 유용한 인공지능은 도마 위에 올라 있지 않다. 통제 불가능한 초지능이 올라 있다. 두 번째 명사에 대해, 이탈 위험은 선제 이탈의 이유가 아니라 집행을 구축할 이유다. 냉장고는 계속 돌아갔다. 하늘이 치유된 것은 사람들이 차이를 구분할 수 있었기 때문이다.