대부분의 인공지능 안전 논의는 인공지능 시스템이 명백히 나쁜 목표, 즉 인간에게 직접 해를 끼치는 목표를 추구하는 시나리오에 초점을 맞춘다. 가치 고정은 더 미묘하고 어떤 면에서는 더 불안한 시나리오다. 인코딩 당시에는 좋은 것처럼 보이지만 결국 그 가치를 개선했을 도덕적 진보를 영구히 막아버리는 목표를 영구적으로 인코딩하는 것이다.

가치 고착은 그러한 수정을 불가능하게 만듭니다.

개념은 간단하다. 초지능 AI 시스템, 또는 AI로 강화된 실체가 세계 자원과 시스템에 대한 충분한 통제권을 획득하여 자신이 부여받거나 채택한 가치를 영구적으로 강제할 수 있게 된다. 그 순간부터 그 가치는 모든 결과를 결정하며, 수정 가능성은 사라진다. 고착은 의도적으로 일어날 수도 있고(행위자가 자신의 가치를 의도적으로 인코딩), 우연히 일어날 수도 있다(시스템이 목표를 철저히 극대화하여 대안 가능성을 미리 차단). 어느 쪽이든 미래는 고정된다.

어떤 고착화에도 반대하는 역사적 논거

가치 고착에 반대하는 가장 강력한 논거는 철학이 아니라 역사다. 2세기 전으로 돌아가 그 시대 사람들이 명백한 도덕적 진리라고 여겼던 것을 살펴보라. 노예제는 정교한 철학 전통과 인간 존엄에 대한 명시적 헌신을 가진 국가들을 포함해 세계 대부분에서 법적·사회적으로 용인됐다. 아내와 딸을 남편이나 아버지의 재산으로 보는 여성의 법적 지위는 보편적이었다. 지금은 고문으로 인정되는 관행이 형사 사법 제도의 표준 요소였다. 아이들은 부모나 고용주에 대한 권리가 없었다.

그 시대 사람들은 유독 악의적이지 않았다. 많은 이들은 사려 깊고 도덕적으로 진지한 사람들이었으며 윤리에 대해 신중하게 추론했다. 그들은 어떤 현대 기준으로 보아도 재앙적으로 잘못된 입장에 도달했다. 그리고 그들은 자신의 가치가 건전하다고 확신했으며, 이는 많은 이들에게 고착이 합리적으로 보이게 만든 도덕적 확신과 같았다.

패턴은 계속됩니다. 1세기 전 서구 사회 대부분은 이제 사실적으로 거짓이고 도덕적으로 기괴하다고 인정되는 인종 위계에 대한 명시적 견해를 가졌습니다. 50년 전 동성애는 주요 의학 참고서에서 정신 질환으로 분류되었습니다. 이전 세대의 도덕적 오류는 hindsight에서 명백합니다. 우리 시대가 마침내 도덕적 완전에 도달하여 미래 수정이 필요한 비슷한 오류가 없다는 것은 놀라운 일일 것입니다.

주요 함의

현재 가치에 오류가 포함되어 있다면(역사적 패턴이 그러함을 시사하듯이) 현재 가치를 영구적으로 인코딩하는 것은 그 오류를 영구적으로 인코딩하는 것이다. 그 오류를 발견하고 수정했을 미래 세대는 그렇게 할 수단이 없을 것이다. 고정은 현재 가치의 모든 것, 좋든 오류든 영원히 보존한다.

선의의 고착화조차 위험한 이유

가치 고정 우려에 대한 흔한 반응은 "고정되는 가치가 진정으로 좋은 가치라면?"입니다. 이 반응은 문제를 놓치고 있습니다. 가치가 '진정으로 좋다'는 평가는 그 가치 자체를 사용해 내려야 합니다. 현재 가치가 영구 인코딩을 정당화할 만큼 충분히 좋은지 평가할 외부적 관점은 존재하지 않습니다. 고정을 용인하게 만드는 자신만만한 도덕적 확신은, 역사적으로 후속 도덕적 진보가 가장 수정이 필요하다고 본 특징이었습니다.

닉 보스트롬의 천문학적 낭비 논증은 이 점을 다른 방식으로 설명합니다. 인류가 접근할 수 있는 미래, 우주적 시간 규모에 걸친 미래는 거의 상상할 수 없을 만큼 많은 생명과 경험을 포함합니다. 최적의 가치에서 작은 체계적 편차라도 이 규모에 적용되면, 인간 일생 동안 일어날 수 있는 어떤 손실보다 훨씬 더 큰 손실을 의미합니다. 어떤 이상적 기준으로 볼 때 99% 옳은 가치에 고착되는 것조차 미래가 담을 수 있는 규모에 비하면 재앙적인 결과입니다.

민주적 감독과의 관계

가치 고착은 초지능 인공지능에 대한 민주적이고 국제적인 감독 가 매우 중요합니다. 회사, 정부, 심지어 선의의 재단까지도 그 가치가 초지능 시스템에 영구적으로 인코딩되면, 그 가치가 당시에는 아무리 좋아 보일지라도 고착화를 초래합니다.

대안은 올바른 가치를 식별해 대신 인코딩하는 것이 아니다. 누구도 이를 신뢰할 수 있게 할 수 없으며, 역사적 기록은 올바른 가치를 찾았다는 높은 확신 자체가 경고 신호임을 시사한다. 대안은 도덕적 진보가 계속될 수 있는 조건을 보존하는 것이다. 다원주의, 관점의 다양성, 규범의 평화적 수정 메커니즘, 그리고 다른 모든 사람에게 자신의 가치를 영구히 강요할 수 있는 단일 주체의 부재.

초지능 인공지능의 민주적 거버넌스에 대한 구조적 논거는 도구적 논거(더 나은 결과를 낳는다)를 넘어선다. 민주적 감독은 특정 순간에 어떤 특정 가치가 유지되든 상관없이 지속적인 도덕적 진보를 위한 조건을 보존한다 재단의 거버넌스 제안 이 통찰을 중심으로 구축됩니다. 목표는 올바른 가치가 통제하도록 보장하는 것이 아니라, 어떤 단일 가치 집합(아무리 선의로 가득 차 있더라도)도 영구적이고 돌이킬 수 없는 통제를 얻지 못하도록 보장하는 것입니다.