Open Philanthropy, 80,000 Hours, 그리고 Future of Humanity Institute를 거쳐 온 연구 계보는 대부분의 기관이 여전히 거부하는 일을 했습니다. 그들은 인공 초지능을 인류 이야기의 종말을 가져올 수 있는 개연성 있는 방식으로 다루었고, 그 주장에 실제 자금과 인재를 투입했습니다. 위험 자체에 관해 그들은 일찍 움직였고 옳았습니다.
포트폴리오가 잘못된 지점은 다음 추론이다. “이것은 인류의 미래를 영구적으로 축소할 수 있다”는 전제에서, 주류 장기주의 답은 기술적 정렬 연구에 자금을 대고, 프런티어를 늦추거나 조종하는 나카다 재단 거버넌스에 자금을 대며, 시스템이 안전해 보이면 구축 경로를 열어두는 것이었다. 그들이 정확히 지적한 위험에 대한 계획으로서도 잘못된 것이다.
정렬이 지렛대처럼 보였던 이유
규모, 방치도, 해결 가능성은 여전히 중요하다. 정렬되지 않은 초지능은 현존하는 모든 사람과 이후 모든 세대에 영향을 미칠 수 있다. 수년 동안 권력을 가진 거의 누구도 이를 현실적인 가능성으로 다루지 않았다. 목표 오지정, 기만, 감독에 관한 기술적 작업은 강력한 시스템이 어쨌든 등장하더라도 좋은 결과를 낼 확률을 높일 수 있는 몇 안 되는 수단 중 하나로 보였다. 일방적인 연구소 폐쇄는 경쟁 상황에서 희망이 없어 보였다. 따라서 책임 있는 포트폴리오는 정렬 과학, 시간을 벌어주는 정책, 그리고 어쨌든 시스템을 구축할 연구소와 정부 내부에서 신중한 영향력 행사를 혼합한 것이었다.
대부분의 전제를 받아들입니다. 위험은 문명 규모입니다. 이 주제는 오랫동안 방치되었습니다. 아직 검사하고 끌 수 있는 시스템에 대한 일부 기술적 안전 연구는 일반적인 공학입니다. 경쟁 연구소와 경쟁 국가가 존재하는 상황에서 "한 회사가 포기한다"는 전략은 약합니다. 그 어느 것도 과장된 이야기가 아니며, 위험을 먼저 진지하게 받아들인 사람들을 비웃는 것은 시간 낭비입니다.
추론이 무너지는 곳
단절은 목적지가 고정되어 있다는 조용한 가정이다. 초지능이 어쨌든 온다면 남은 일은 도착을 덜 치명적으로 만드는 것뿐이다. 정렬 자금, 평가, "책임 있는 확장"은 모두 그 가정 아래서 의미가 있다. 그들은 초지능으로 가는 경주를 끝내는 것이 아니라 더 안전하게 만드는 것을 세대의 주요 도덕적 과제로 만든다. 돈과 명성의 대부분은 여전히 경주를 끝내는 것이 아니라 경주를 더 안전하게 만드는 데 쓰인다.
목적지는 고정되어 있지 않습니다. 이런 종류의 목적지는 선택됩니다. 핵무기, 오존 화학, 인간 복제는 각각 정부가 특정 최종 상태가 잔여 위험을 감수할 가치가 없다고 결정한 순간이 있었습니다. 초지능은 그 목록에 영구적으로 속해야 합니다. 초지능은 인간이 통제할 수 없습니다.
불가피성 가정을 버리면 포트폴리오는 달라 보인다. 경주를 관리 가능한 상태로 만드는 데 쓰이는 희소한 안전 자본은 경주를 끝내는 데 쓰이지 못한다. 프론티어를 늦춰 연구소가 "안전에서 따라잡게" 하는 거버넌스는 여전히 통제 불가능한 마음을 만드는 것을 계획으로 삼는다. 우리가 후계 종을 만들고 나서 그것을 묶을 것이라고 가정하는 정렬 작업은 연구 프로그램을 생존 전략과 혼동하는 것이다.
장부는 맞췄지만 목적지는 틀렸다.
중단 대신이 아닌 중단 후의 연구
누구에게도 이 분야를 불태우라고 요구하는 것이 아닙니다. 오늘날 시스템을 더 투명하게 만들고, 오용을 어렵게 하며, 끄기 쉽게 만드는 연구는 여전히 가치가 있습니다. 초지능으로 가는 길에 검증된 중단이 이루어진 뒤라면, 강력한 AI를 제어하는 연구는 멸종 위험에 시계가 붙지 않은 상태로 계속될 수 있습니다. 순서가 핵심입니다.
기술적 정렬을 주요 해결책으로 삼으면서 프런티어 연구소들이 같은 일정으로 규모를 확대하는 태도가 문제입니다. 이는 문제를 뒤집는 셈입니다. 하방 위험을 통제할 수 없고 그 위험이 인류 전체일 때, 책임 있는 행동은 위험한 것을 만드는 일을 멈추는 것. 초지능은 통제될 수 없습니다. 좁은 AI는 계속됩니다. 모든 영역에서 인간 지능을 초월하는 시스템의 좁은 부류는 그렇지 않습니다.
장기주의 원인 우선순위 지정에는 ASI 위험에 대해 동의한다. 처방이 더 많은 정렬 예산과 신중하게 조종된 경쟁이라는 점에는 동의하지 않는다. 처방은 구속력 있는 법 아래에서의 예방, 즉 영구적 비창조다. 초지능은 인간이 통제할 수 없다. 안전이 따라잡을 시간을 벌기 위한 일시적 둔화는, 제작자보다 똑똑한 마음을 통제할 검증된 방법을 경쟁 압력 아래 제때 발명할 것이라는 일정 내기다. 누구도 그 방법을 갖고 있지 않다. 소규모에서도, 대규모에서도. 선도 연구소들도 공개적으로 그렇게 말한다.
예방을 "일시 정지"로 치부하는 경우가 많다. 일시 정지는 몇 년 숨 돌릴 시간을 준 뒤 다시 재개하는 것이다. 그것은 요청이 아닙니다. 우리는 정부가 인공 초지능을 영구히 막도록 하기를 바랍니다. 초지능은 통제할 수 없습니다. 조약은 경주에서 벗어날 수 있는 출구입니다.
돈이 대신 해야 할 것
ASI 정렬 작업 더미를 비창조를 강제할 수 있는 방향으로 옮겨라. 조약 설계와 검증, 검사 가능한 칩 수준 연산 거버넌스, 목표를 명확하게 유지하는 대중 설득, 조용한 능력 도약 비용을 높이는 내부고발과 투명성 작업, 입법자들이 연구소 로비스트가 아닌 유권자의 목소리를 듣도록 하는 정치 조직화가 여기에 해당한다. 자금 전환 계획을 자세히 작성했다. 요약하면 우선순위입니다. 그것을 만들지 않기로 결정하는 데 자금을 지원하세요.
장기주의는 대부분의 엘리트가 여전히 공상과학으로 취급하는 위험에 이름을 붙인 공로를 인정받았습니다. 진단에 대한 공로가 처방을 고정시키지는 않습니다. 같은 위험, 다른 계획. 법 아래에서 초지능을 막으십시오. 인간을 돕는 도구는 유지하십시오. 신중하게 조종된 신을 만들지 않기로 세계가 동의할 때까지 어둠 속에서 하나를 만드는 꿈은 선반에 두십시오.