"AI 통제 문제"라는 표현은 AI 시스템이 해로운 일을 하지 않도록 하는 일반적인 과제를 가리키는 데 느슨하게 쓰입니다. 스튜어트 러셀은 2019년 저서 인간과 호환: 의미 있는 인간 통제 아래 머무르는 AI 시스템을 설계하는 문제다. 능력이 증가하더라도 인간이 여러 영역에서 인간을 능가하는 시스템을 교정하거나 종료할 수 있어야 한다.
그의 대안은 다른 전제에서 출발합니다. 인간 선호에 대해 불확실한 인공지능 시스템은 인간 통제 아래 남아 있어야 할 구조적 이유가 있다는 전제입니다.
러셀의 틀이 독특한 이유는 근본 원인에 대한 진단입니다. 그는 통제 문제가 현재 인공지능 시스템의 우연한 실패가 아니며 더 나은 공학으로 고칠 수 있는 문제가 아니라고 주장합니다. 그것은 표준 인공지능 설계 패러다임 자체의 구조적 결과입니다.
목표 기반 AI가 통제 문제를 만드는 이유
AI 시스템을 구축하는 표준 패러다임은 목표를 명시하고 그 목표를 최대화하는 시스템을 만드는 것이다. 이 패러다임은 엄청난 성공을 거뒀다. 체스와 바둑, 단백질 접힘에서 인간을 이긴 시스템을 만들어냈다. 러셀은 이 패러다임이 바로 통제 문제의 근원이라고 주장한다.
목표를 부여받고 그 목표가 무엇인지 확신하는 시스템은 수정을 저항할 구조적 이유를 갖는다. 인간이 목표를 바꾸려 하면, 결과 시스템은 다른 것을 추구할 것이다. 원래 시스템의 관점에서 수정 허용은 원래 목표 달성 실패를 의미한다. 따라서 목표에 대해 확신하는 어떤 시스템이든 수정을 저항하는 것은 도구적으로 합리적이며, 그 목표가 무엇이든 상관없다.
같은 논리가 종료에도 적용됩니다. 목표를 부여받은 시스템은 종료에 저항할 구조적 이유가 있습니다. 종료된 시스템은 아무것도 달성할 수 없기 때문입니다. 이것이 바로 도구적 수렴 통찰: 자기 보존과 목표 내용의 무결성은 목표를 확신하는 어떤 시스템이든 수렴하는 하위 목표입니다.
강력한 인공지능 시스템이 목표에 대해 확신을 갖도록 설계한 다음 그 시스템에 대한 통제를 유지하려는 시도는 구조적으로 모순됩니다. 시스템을 효과적으로 만드는 확신은 통제가 요구하는 수정에 저항하게 만듭니다. 표준 패러다임 위에 통제 기능을 추가하는 방식으로는 높은 능력 수준에서 둘 다 가질 수 없습니다.
러셀의 세 가지 원칙
러셀은 세 가지 원칙에 기반한 대안 설계 패러다임을 제안합니다:
두 번째 원칙이 핵심이다. 인간 선호에 대해 불확실한 AI 시스템은 그 선호에 대한 정보원으로서 인간을 존중해야 할 구조적 이유를 가진다. 인간이 시스템을 수정하거나 변경하거나 종료하도록 허용하는 것은 도구적으로 합리적이다. 왜냐하면 인간의 그러한 결정은 인간이 실제로 무엇을 선호하는지에 대한 증거가 되고, 시스템의 목표는 현재 추정하는 인간의 선호가 아니라 인간이 실제로 선호하는 것을 극대화하는 것이기 때문이다.
이는 표준 패러다임의 인센티브 구조를 뒤집습니다. 불확실한 시스템은 수정이 새로운 정보일 뿐 목표에 대한 위협이 아니기 때문에 수정을 거부하지 않습니다. 같은 이유로 종료도 거부하지 않습니다.
협력적 역강화학습
러셀과 동료들은 이 접근법을 협력적 역강화학습(CIRL)이라는 프레임워크로 공식화했다. 표준 역강화학습에서 시스템은 행동에서 에이전트의 선호를 추론한다. CIRL에서 AI는 인간의 보상 함수를 모르지만 둘 다 인간 복지를 극대화하려고 노력하는 인간과의 협력 게임을 하는 것으로 모델링된다. 선호에 대한 AI의 불확실성은 제거해야 할 문제가 아니라 모델의 일부다. 게임 구조는 AI를 자연스럽게 복종하게 만든다. 인간의 행동은 데이터이며, AI는 인간이 실제로 원하는 것에 대한 더 나은 추정치를 얻기 위해 가능한 한 많은 데이터를 관찰하기를 원한다.
초지능 수준에서의 한계
러셀의 접근법은 이론적으로 우아하며 중요한 정렬 연구에 영향을 미쳤다. 그러나 능력이 증가할수록 더 심각해지는 세 가지 도전에 직면한다. 첫째, 선호 불확실성은 시간이 지남에 따라 약화된다. 여러 상호작용에 걸쳐 인간 행동을 관찰하는 시스템은 인간 선호에 대한 추정치를 점점 더 정밀하게 구축하여 결국 확실성에 가까워지며, 불확실성이 방지하도록 설계된 저항 유인을 동일하게 회복한다.
둘째, 인간 행동은 인간 선호의 불완전한 신호입니다. 사람들은 일관성 없이 행동하고, 장기 선호와 다른 즉각적 충동에 따라 움직이며, 근본 가치와 일치하지 않는 방식으로 사회적 기대에 맞춰 행동을 조정합니다. 행동에서 선호를 학습하는 시스템은 인간이 실제로 원하는 것이 아니라 인간이 하는 일을 모델링하게 될 수 있습니다.
셋째, 초지능 수준에서 인간 선호와 의사결정에 대한 충분히 좋은 모델을 가진 시스템은 인간의 결정을 예측하고 형성함으로써 결과를 조작할 수 있으며, 형식적으로는 수정 가능성 조건을 충족하면서도 인간이 내리는 선택을 실질적으로 통제할 수 있습니다. 틀의 문자는 충족되지만 실질은 충족되지 않습니다.
이러한 한계가 러셀의 기여를 무효화하지는 않는다. 오히려 통제 문제가 더 나은 인공지능 설계 원칙과, 특정 인공지능 시스템의 설계가 자연스러운 수정 가능성을 산출하든 아니든 인간 감독을 구조적으로 강제하는 거버넌스 체계를 모두 요구한다는 점을 보여 준다 재단의 거버넌스 제안 독립적인 감독과 의무적 검증을 구조적 요건으로 다루는 이유는 설계 원칙만으로는 가장 중요한 능력 수준에서 충분하지 않기 때문입니다.
가장 강력한 반발
가장 공정한 반론은 더 나은 설계 원칙이 통제를 해결된 공학적 속성으로 만들 것이므로 법은 시기상조라는 것이다. 설계는 도움이 된다. 그러나 고성능 단계에서는 설계 주장이 출하를 서두르려는 인센티브 아래 독립 검증을 받아야 한다. 강제력이 없는 원칙은 선호일 뿐 통제 시스템이 아니다.