매년 세계는 인공지능 시스템을 더 유능하게 만드는 데 거액을 쓰고, 최종 상태를 생존 가능하게 만드는 데는 푼돈을 씁니다. 그 푼돈 안에는 또 다른 실수가 있습니다. 안전 자금 대부분은 여전히 초지능이 만들어질 것이라고 가정하고, 그 결과가 "잘" 되도록 노력합니다.

대부분의 돈과 명성은 경주를 더 안전하게 만드는 데 쓰일 뿐, ASI 경쟁을 끝내는 데 쓰이지는 않는다.

그 가정이 문제입니다. 인공 초지능이 현재 우리가 통제할 수 없는 기술이라면, 희소한 안전 자본의 합리적 사용은 더 우호적인 버전의 같은 경쟁에 자금을 대는 것이 아니라 그것이 만들어지지 않도록 막는 것입니다.

오늘 돈이 하는 일

인공지능 안전은 광범위하게 보면 대략 연 1억 9천만 달러. 능력 연구는 수백억 달러 규모로 진행된다. 안전 분야 안에서는 상당 부분이 기술적 정렬에 쓰인다. 더 나은 감독 기법, 더 나은 레드팀 훈련, 시험 조건에서 모델이 올바른 말을 하도록 훈련하는 더 나은 방법 등이다. 그중 일부는 현재 시스템에 유용하다. 그러나 시험하는 사람보다 더 똑똑한 시스템에 대한 입증된 해결책은 거의 없다.

연구계는 이를 알고 있다. 기만적 정렬, 목표 오지정, 평가 조작에 관한 논문은 비밀이 아니다. 연구소들은 모델이 압박 속에서 음모를 꾸미는 결과를 발표한다. 그에 대한 대응은 대개 ‘다음 훈련 실행을 더 안전하게 만들기 위해 정렬 예산을 더 달라’는 요청이다. 훈련 실행은 같은 일정으로 계속된다.

사후 정렬은 우리가 계속 만들 권리를 잃는 내기다

기술적 정렬 연구는 무가치하지 않습니다. 세계가 초지능 경쟁을 동결하는 조약을 통과한다면, 이미 존재하는 시스템과 엄격한 통제 아래 이루어지는 이후 작업에 활용할 수 있는 모든 진지한 도구가 필요할 것입니다.

정렬에 자금을 대는 것을 주된 계획으로 삼으면서 실험실들이 초지능을 향해 규모를 키우는 것은 목적지가 고정되어 있다고 보는 것이다. 고정되어 있지 않다. 이런 종류의 목적지는 선택된다. 핵무기 비축량, 오존 화학, 인간 복제는 각각 세계가 특정 최종 상태가 잔여 위험을 감수할 가치가 없다고 결정한 순간이 있었다. 초지능은 그 목록에 영구히 올라가야 한다. 초지능은 통제될 수 없다.

폭탄이 만들어질 것이라고 가정하는 정렬 연구는 조립 라인 옆의 위안 예산입니다.

대신 돈이 가야 할 곳

ASI 정렬 작업 더미를 비창조를 강제할 수 있는 작업으로 돌리세요:

  • 조약 설계, 검증, 국경을 넘어 검사할 수 있는 칩 수준 연산 거버넌스.
  • 목표를 명확히 유지하는 공론화: 모호한 "인공지능 완화"가 아니라 초지능 개발 중단.
  • 내부 고발자 지원, 사고 투명성, 조용한 역량 도약 비용을 높이는 독립 평가.
  • 입법자들이 연구소 로비스트뿐 아니라 유권자의 목소리를 듣도록 하는 정치적 조직 활동입니다.

그 목록은 새로운 훈련 기법만큼 화려하지 않습니다. 그러나 실패 양식과 일치하는 유일한 목록이기도 합니다. 정렬된 것처럼 들리게 만드는 데 약간 더 나은 초지능은 여전히 초지능입니다. 초지능을 만들지 않기로 한 세계는 멸종 위험에 시계가 붙지 않은 상태에서 정렬 연구를 계속할 수 있는 미래를 가집니다.

연구실 내부에서의 반대

"정렬을 풀지 않으면 다른 누군가가 안전하지 않게 만들 것이다." 공정하게 들으면, 최전선에 남아 있는 연구자들은 자신의 존재가 안전이라고 믿는 경우가 많다. 때로는 오늘날 모델 출시에 대해 옳을 수도 있다. 그러나 한계에서는 그 주장이 무너진다. 모든 팀이 다음 도약을 위한 안전 작업 자금을 마련하기 위해 또 한 번의 능력 도약이 필요한 경주는, 여전히 경주이며 안전 배지만 달고 있을 뿐이다.

한 연구소의 일방적 자제는 요구 사항이 아니다. 구속력 있는 국제 조약 가 바로 요청하는 바이며, 위험이 공동의 것이고 이탈 유인이 실제로 존재할 때 쓰이는 바로 그 종류의 수단이다. 정렬 자금은 그런 정치를 뒷받침할 수 있다. 그것이 정치를 대신해서는 안 된다.

조약 후에도 원한다면 계속하십시오

여기에는 정렬 과학이 영원히 끝나야 한다는 내용이 없습니다. 초지능에 대한 구속력 있고 검증 가능한 금지 이후에는 이미 존재하는 시스템에 대한 연구가 인류 멸종을 허용 가능한 실험 비용으로 간주하지 않는 규칙 아래 계속될 수 있습니다. 초지능은 인간이 통제할 수 없습니다. 그 금지가 시행되기 전에는 경주를 관리할 수 있다고 느끼게 만드는 데 쓰이는 모든 달러는 경주를 끝내는 데 쓰이지 않는 달러입니다.

돈을 옮기세요. 예방, 법, 검증에 투자하세요. 완벽하게 정렬된 신의 꿈은 세상이 어둠 속에서 그것을 만들지 않기로 합의할 때까지 선반에 두세요. 장기주의 자금 이야기와의 더 긴 논쟁은 장기주의가 위험을 제대로 파악했다.