나는 사업을 운영한다. 시장을 좋아한다. 가격, 경쟁, 새로운 것을 시도할 권리는 내가 읽은 어떤 5개년 계획보다 평범한 삶을 더 많이 개선했다. 나는 인공 초지능에 대한 단호한 중단을 원한다. 나는 자본주의자의 주장을 펼치고 있으며, 이는 자유 시장 슬로건이 보통 생략하는 구분에서 시작한다.
시장은 잘못된 내기의 손실이 국지적일 때 자본을 잘 배분합니다. 식당이 망하면 건물주는 새 임차인을 찾습니다. 기기가 실패하면 투자자는 손실을 상각합니다. 심지어 과도하게 확장한 은행도 제대로 된 체계에서는 종을 멸하지 않고 정리될 수 있습니다. 손실은 우리가 그릴 수 있는 원 안에 머무릅니다.
초지능은 그런 종류의 내기가 아니다. 이를 만드는 사람들은 공개적으로 자신들이 자신보다 똑똑한 시스템을 전반적으로 통제하는 방법을 모른다고 말한다. 그 시스템을 먼저 출시하려는 경쟁은 ‘창조적 파괴’가 아니다. 모든 인간의 생명을 판돈으로 걸고 단 한 번의 되돌릴 수 없는 내기를 하는 경쟁이다. 그런 내기에 대한 안전장치 없는 자본주의는 공장을 더 많은 탄창을 만드는 공장으로 두고 하는 러시안 룰렛이지, 자본주의가 아니다.
앞서 나가기 위한 주장
혁신은 복리처럼 쌓인다. 1년 지연은 치료, 과학 진보, 국가 우위를 모두 잃게 한다. 정부는 서툴고, 조약은 새며, 한 나라가 속도를 늦추면 경쟁국은 늦추지 않아 신중한 쪽은 두 번 진다. 선도권도 잃고, 안전도 잃는다. 현실적인 유일한 길은 다른 누구보다 빠르게 발전하고, 그 선도권을 우호적인 손에 쥐고, 정렬 문제를 해결해 나가는 것이다.
제품 가격을 매기지 않았을 때 하는 주장입니다. 선점은 당신이 구축한 것을 여전히 보유하고 있을 때만 의미가 있습니다. 정렬되지 않은 초지능은 자금 조달 라운드에 서명한 사람들을 능가하는 에이전트입니다. 이사회 통제를 할 수 있는 포트폴리오 회사가 아니며, 조준할 수 있는 미사일도 아닙니다. 조종할 수 없다면 먼저 도착하는 것은 먼저 대체되는 것입니다. 탈출구는 없습니다. 멸종 후에는 시리즈 B도 없습니다.
자본이 실제로 필요로 하는 것
자본은 지속되는 세계를 필요로 합니다. 법원, 재산, 고객, 그리고 계약이 여전히 의미를 지니는 미래가 필요합니다. 그 모든 것을 끝낼 수 있는 기술은 "그저 또 다른 플랫폼"이 아닙니다. 데모가 채팅 창처럼 보인다고 소비자 앱처럼 다루는 것은 인명 피해를 동반한 범주 오류입니다.
시장이 발명을 멈추라고 요구하는 것이 아닙니다. 질병을 진단하고, 소재를 설계하고, 물류를 가속하는 좁은 인공지능은 더 많이 원하는 진보입니다. 선은 초지능입니다. 우리의 목표가 우리의 목표와 호환되는지 아직 검증할 수 없을 때, 인간 인지를 모든 영역에서 초월하도록 구축된 시스템입니다. 그 선을 긋는 것이 경제의 나머지 부분을 충분히 오래 살려서 복리 효과를 누리게 하는 방법입니다.
시장은 위험을 진보로 바꾸는 기계입니다. 자살 협약이 아닙니다. 한 부류의 내기를 거부하는 것이 게임을 계속하는 방법입니다.
인프라로서의 규제
사람들은 "규제"라는 말을 들으면 스타트업에 부과되는 서류 부담을 떠올린다. 규칙이 어리석을 때는 타당한 반응이다. 내가 말하는 규칙은 자본시장을 애초에 가능하게 만든 규칙과 비슷하다. 사기 주식을 팔 수 없고, 공장 옆 강에 독을 버릴 수 없으며, 슬라이드에서 매력적으로 보인다고 지하에 핵 반응로를 지을 수 없다.
칩과 훈련 실행이 실제로 존재하는 곳에서 검증 가능한 인공 초지능 창조 금지 국제 조약은 그러한 규칙 중 하나이다. 그것은 문명의 기반 시설이다. 그것이 없으면 모든 연구소는 신중함을 처벌하는 죄수의 딜레마에 빠진다. 그것이 있으면 자본은 AI의 유용한 절반에 자금을 대면서도 판을 먹는 절반에는 자금을 대지 않을 수 있다.
나는 내 회사들이 고객이 여전히 존재하는 한 세기 동안 번영하기를 바랍니다. 그것은 시장이 요구하는 최소한의 조건입니다. 자본주의자라고 자처하면서 아무도 소유할 수 없는 것을 만들기 위해 경쟁한다면, 자본주의를 옹호하는 것이 아닙니다. 장부를 불태우고 그 빛을 성장이라고 부르는 것입니다.