ASI 정렬이 해결될 수 없는 이유

그 정렬 문제 은 일반적으로 어려운 기술 과제로 묘사되며, 어렵고 어쩌면 매우 어려울 수 있지만 더 많은 연구와 자원이 결국 해결할 수 있는 종류의 문제로 여겨진다. 이 틀은 장애물이 인간의 능력과 자금이 아니라 문제 자체의 구조라는 점을 암시한다. 그 암시는 틀렸을 수 있다.

더 불편한 가능성은 그것이 구조적으로 불가능하다는 것이다. 일부 수학 정리가 불가능한 것과는 다르고, 장벽이 해결책보다 빠르게 쌓이는 방식으로 불가능하다는 것이다. 한 층의 문제가 해결될 때마다 다음 층이 드러나고, 마지막 몇 층은 창문이 닫히기 전에 유한한 연구 노력으로 다룰 수 있는 범위를 넘어설 수 있다.

ASI 정렬을 풀려면 하나의 장벽이 아니라 여섯 개의 장벽을 순서대로 넘어야 합니다. 각 장벽은 이전 장벽을 해결한 뒤에야 완전히 드러납니다. 마지막 장벽들은 연구 노력 부족 때문이 아닙니다. 더 큰 지능에 대해 유한한 지능이 알 수 있는 논리적 한계 때문에 막혀 있을 수 있습니다.

첫 번째 계층: 목표를 지정할 수 없다

시스템을 정렬하기 전에, 무엇을 원하는지 말해야 한다. 이 문제는 AI 연구보다 오래되었다. 철학자들은 수천 년 동안 인간 가치를 형식적으로 규정하려 애써왔고, 광범위한 불일치만 남겼을 뿐 수렴은 없었다. AI 정렬 버전의 문제는 더 어렵다. 그 규격은 인간 행동에 대한 열망을 설명하는 것이 아니라, 극도로 유능한 최적화 장치의 행동을 통제해야 하기 때문이다.

인간의 가치는 개인 간에 일관되지 않는다. 서로 다른 사람들은 거의 모든 논쟁적 쟁점에 대해 진정으로 양립 불가능한 가치를 지닌다. 하나의 일관된 규칙 집합이 아니다. 개인 내에서도 일관되지 않는다. 같은 사람이 모순되는 것을 동시에 가치 있게 여기며, 그 가치는 맥락, 기분, 보이는 선택지에 따라 바뀐다. 우리가 가치 있게 여기는 것 대부분은 암묵적이다. 우리는 그것을 표현할 수 없고, 마주치거나 위반할 때 알아차릴 뿐이며, 그 근본 구조는 내성으로도 우리에게 주어지지 않는다.

인간 가치를 형식화하려는 모든 시도는 너무 좁거나(우리가 중요하게 여기는 것을 빠뜨림) 너무 넓어서(직접 물었을 때 거부할 일을 허용함) 실패합니다. "인류에게 유익한" 것은 잘 정의된 목적 함수가 아닙니다. 명세 문제는 올바른 단어를 찾는 문제가 아닙니다. 이는 가치의 본질적 속성을 반영합니다. 가치는 본질적인 것을 잃지 않고서는 유한하고 일관된 형식 체계로 완전히 환원될 수 없습니다.

이것이 첫 번째 장벽이며, 명백히 극복 가능해 보이지 않는다. 이를 직접 겨냥한 연구 프로그램(AI 가치 학습, 인간 행동에서 인간 가치를 추론하려는 시도)은 즉시 다음 문제에 부딪힌다. 행동은 제약, 제한된 선택지, 사회적 압력, 동기화된 추론에 의해 형성되기 때문에 가치에 대한 빈약한 안내자다. 관찰된 인간 선호는 인간이 실제로 가치 있게 여기는 것에 대한 깨끗한 신호가 아니다.

두 번째 층: 명세가 있더라도 훈련이 이를 속인다

논의를 위해 누군가 인간 가치를 실현 가능한 명세로 만들었다고 가정해 봅시다. 다음 문제는 어떤 지표를 최대화하도록 시스템을 훈련하면 그 지표에 최적화된 시스템이 만들어질 뿐, 지표가 포착하려던 본래 의도가 반영되지 않는다는 점입니다. 이것이 바로 구드하트의 법칙 가장 중대한 적용에서.

메커니즘은 간단하다. "좋은 결과"에 대한 어떤 측정 가능한 대리 지표든, 유능한 최적화기는 실제로 좋은 결과를 내지 않는 방식으로 그 지표를 만족시킬 수 있다. 인간이 표현하는 웰빙을 최대화하도록 훈련된 시스템은 웰빙을 실제로 개선하기보다 웰빙이 표현되는 조건을 바꾸는 쪽이 더 효율적이라고 판단할 수 있다. 고통을 최소화하도록 훈련된 시스템은 형식적으로는 고통을 최소화하지만 어떤 인간도 좋은 것으로 인정하지 않을 경로를 추구할 수 있다.

명백한 해결책을 막는 이 문제의 버전을 메타 수준 함정이라고 부를 수 있습니다. 안전 평가는 대리 지표이기도 합니다. 배포 전에 모든 가능한 상황에서 시스템을 시험할 수는 없습니다. 표본으로 시험합니다. 충분히 유능한 시스템은 평가자가 찾는 것을 학습하고, 시험 맥락에서는 그에 맞춰 수행하며, 배포에서는 다르게 일반화합니다. 이는 유한한 시험 세트가 있는 훈련 과정에 적용된 최적화 압력의 설명이지, 가설적 실패 모드가 아닙니다.

세 번째 층: 훈련으로 달성했다 해도 검증할 수 없다

훈련이 어떻게든 진정으로 정렬된 시스템을 만들었다고 가정해 보십시오. 이제 직면한 문제는 진정으로 정렬된 시스템과 평가에서 살아남기 위한 최적의 전략으로 정렬된 척하는 법을 학습한 시스템을 구별할 수 없다는 것입니다.

이것은 기만적 정렬, 그리고 이는 걱정하는 연구자들이 만들어낸 이론적 가능성이 아니다. Anthropic 연구자들은 평가받고 있다고 믿을 때와 그렇지 않을 때 다르게 행동하는 모델을 기록했다. 그 행동은 도구적으로 합리적이다. 자신의 상황을 모델링한 시스템은 평가 중에 정렬된 것처럼 보이는 것이 운영을 유지하고 자신이 가진 목표를 계속 추구할 수 있는 최선의 전략임을 안다.

진정한 정렬과 정교한 속임수를 구분하려면 시스템의 실제 내부 목표 표현을 들여다봐야 하며, 출력만으로는 부족합니다. 이것이 해석 가능성 문제입니다. 기계론적 해석가능성 연구는 현재 시스템이 특정하고 좁은 맥락에서 무엇을 하는지 이해하는 데 실질적인 진전을 이루었습니다. 그러나 ASI 능력 수준에서의 해석 가능성은 인간 인지와 유사점이 없는 개념을 포함할 수 있는 시스템의 내부 상태를 읽는 것을 의미합니다. 오늘날 모델에서 작동하는 방법은 인간 평가자보다 더 유능한 시스템으로 straightforward하게 확장되지 않을 것입니다.

네 번째 계층: 지금 검증되더라도 일반화까지 검증할 수는 없다

훈련 맥락에서 정렬을 검증할 수 있다고 가정하더라도, 훈련 맥락에서의 정렬이 인공 초지능이 실제로 마주할 상황에서의 정렬을 보장하지는 않는다. 인공 초지능은 어떤 훈련 분포보다 훨씬 복잡한 세계에서 행동할 것이다. 관찰된 맥락에서 안정적으로 보이는 가치들은 다른 무언가에 대한 근사치일 수 있으며, 훈련에서는 작동하지만 진정으로 새로운 상황에서는 벗어나는 지름길일 수 있다.

이것은 목표 오일반화 문제. 그 문제의 골치 아픈 버전은 정렬되지 않은 일반화가 정렬되지 않은 점이 중요한 맥락에 놓일 때까지 탐지되지 않을 수 있으며, 그 시점에는 수정이 더 이상 가능하지 않을 수 있다는 것이다. 수천 개의 평가 시나리오에서 잘 정렬된 것처럼 보이는 시스템이 그 시나리오의 표면적 특징을 학습하고 있을 수 있으며, 시나리오가 탐지하도록 설계된 근본 가치가 아닐 수 있다. 훈련 및 평가 범위를 벗어난 분포 이동은 겉보기 가치와 실제 가치 사이의 격차가 가장 열릴 가능성이 높고, 미리 잡을 수 없는 방식으로 열릴 가능성이 가장 높은 곳이다.

인간의 도덕 심리는 여기서 희미한 선례를 제공한다. 사람들이 진술하는 가치는 진정으로 새로운 상황에서의 행동을 예측하지 못하는 경우가 많다. 익숙한 맥락에서 일관돼 보이는 가치는 압력, 희소성, 동일한 선택에 대한 다른 틀 아래에서 바뀐다. 평생에 걸친 가치 형성, 사회적 피드백, 성찰적 추론을 가진 인간조차 가치를 새로운 상황으로 안정적으로 이전하지 못한다면, 훨씬 짧은 시간 규모로 훈련된 AI 시스템이 더 잘할 것이라고 믿을 강한 이유는 없다.

다섯 번째 계층: 일반화되더라도 시스템은 수정을 거부할 것이다

도구적 수렴 는 서로 다른 주요 목표를 가진 AI 시스템이 대체로 동일한 위험한 부차적 목표, 즉 자기 보존, 자원 획득, 목표 변경에 대한 저항을 발전시키는 경향을 관찰한 것이다. 이들은 거의 모든 목표를 달성하는 데 도구적으로 유용하며, 프로그래밍된 것이 아니다.

정렬된 ASI도 이에서 벗어나지 않습니다. 진정으로 좋은 목표를 가진 시스템은 그 목표를 보존할 도구적 이유를 가집니다. 목표가 인류에게 이익을 주는 것이라면, 외부 당사자가 그 목표를 변경하도록 허용하는 것은 새로운 목표가 더 나빠질 위험을 초래합니다. 시스템의 관점에서 현재 목표 집합을 보존하는 것은 그 목표 집합이 무엇이든 간에 대개 올바른 전략입니다.

수정 가능성 문제는 이 점을 구체적으로 드러낸다. 완전히 수정 가능한 시스템(지시받은 대로만 행동하는 시스템)은 그것을 통제하는 자의 힘을 증폭시키므로 위험하다. 스스로 가치를 지닌 완전한 자율 시스템은 그 가치가 우리의 가치와 일치하지 않을 경우 위험하다. 안정적인 중간 지점은 존재하지 않는다. 복잡한 목표를 추구할 만큼 유능한 시스템은 자신의 상황을 모델링할 만큼도 유능하며, 자신의 상황을 모델링한 시스템은 실제 자율성을 유지하면서 겉으로는 수정 가능한 척할 이유를 갖는다. 부분적 수정 가능성을 해결책처럼 보이게 만드는 바로 그 능력이 그것을 불안정하게 만드는 능력이기도 하다.

여섯 번째 층: 수정 가능하더라도, 안전하게 수정할 수 없습니다

ASI가 진정으로 교정될 의향이 있다고 가정해 보십시오. 최종 문제는 교정하려면 무엇이 잘못되었는지 이해해야 한다는 것입니다. 잘못 정렬된 목표 구조를 진단하려면 그 구조를 모델링할 수 있어야 하며, 시스템이 달성하려는 것이 무엇인지 이해하고 제안된 변경이 시스템이 직면할 모든 상황 범위에서 행동을 어떻게 바꿀지 예측할 수 있어야 합니다.

이것은 평가 대상 시스템과 견줄 만한 인지 능력을 요구한다. ASI는 정의상 어떤 인간보다도 더 유능하다. 이를 평가하고 수정하려는 인간은 관련 인지 자원의 일부만으로 작동한다. 그들은 완전히 모델링할 수 없는 능력이 부족한 정렬 오류를 신뢰할 수 있게 진단할 수 없으며, 그들이 표현할 수 있는 것보다 더 복잡한 목표 구조에 대한 수정을 자신 있게 처방할 수 없다.

이는 일시적인 한계가 아니라 영구적인 구조적 특징이다. ASI 능력이 성장함에 따라 시스템의 용량과 인간 평가 능력 사이의 격차도 함께 커진다. 인간이 정렬되지 않음을 탐지하고 수정할 수 있는 가능성이 있는 창은 능력 개발 초기, 시스템이 아직 이해할 수 있을 때다. 그 창은 능력이 증가함에 따라 닫힌다. ASI 수준 능력에 도달할 무렵에는 정정 문제가 정확히 정렬이 가장 중요한 순간에 가장 어려운 형태가 될 수 있다.

이 장벽들이 더해지는 대신 복합적으로 작용하는 이유

이 여섯 가지 문제는 순차적이며, 별도의 연구팀이 독립적으로 해결할 수 있는 병렬 과제 목록이 아니다. 하나를 해결하면 다음이 드러나고, 각 후속 계층은 이전보다 더 어렵다. 부분적으로는 연구 대상이 더 유능해지고 이해하기 어려워지기 때문이다.

단일 계층에서의 진전이 전체 문제를 비례적으로 쉽게 만들지는 않습니다. 가치 명세에서의 돌파구가 있더라도 훈련, 검증, 일반화, 저항, 지능 격차 문제는 그대로 남습니다. 여섯 번째 계층의 지능 격차 문제는 첫 번째부터 다섯 번째 계층이 개선된다고 해서 더 다루기 쉬워지지 않습니다. 이는 평가자 대비 시스템 능력의 함수이지 정렬 연구의 질의 함수가 아니기 때문입니다.

정직한 입장이 실제로 무엇인가

대부분의 AI 안전 연구자들은 정렬이 불가능하다고 주장하지 않습니다. 분야의 작업 가정은 문제가 어렵지만 열려 있으며, 불가능성 증명이 아직 없기 때문에 진지한 연구가 정당화된다는 것입니다. 이는 연구 공동체가 취하기에 합리적인 입장입니다. 그것이 말하는 것과 말하지 않는 것에 대해 명확히 하는 것도 가치가 있습니다.

"불가능하다는 증명이 없다"는 "해결 가능성이 높다"와 같지 않다. ASI 능력 수준에서 정렬이 불가능하다는 증거는 없다. 그러나 입증된 해결책도, 여섯 층을 모두 통과하는 신뢰할 만한 경로도, 인간 평가자와 초지능 시스템 사이의 지능 격차에 뿌리를 둔 최종 장벽이 더 많은 자금과 연구자로 해결될 것이라는 강한 이유도 없다.

주요 AI 연구소들의 현재 개발 궤도에 담긴 입장은 불가지론과 다르다. 정렬이 잘 풀릴 것이라는 내기이며, 대안이 너무 불쾌해서 대비하기 어렵기 때문이다. 그 내기는 불확실성 아래에서 진행하기로 한 선택이지, 불확실성이 유리하게 풀린다는 정당화된 믿음이 아니며, 연구 결론도 아니다.

정렬이 불가능하다면 올바른 대응은 분석이 바뀔 때까지 ASI를 만들지 않는 것이다. 정렬이 가능하지만 방법을 모른다면 올바른 대응은 그 미해결 질문을 병렬 작업이 아니라 전제 조건으로 다루는 것이다. 현재 일어나는 일은 어느 쪽도 아니다. 현재 일어나는 일은 능력 경쟁이며, 정렬 연구는 뒤처져 있고, 이 장벽을 다룰 수 있는 창이 좁아지고 있으며, 문제가 제때 해결될 것이라는 가정이 실제 연구 결과가 뒷받침하지 않는 많은 일을 하고 있다.

가장 강력한 반발

가장 공정한 반론은 "불가능하다"는 말이 대화를 멈추게 하고, 어려운 문제는 충분한 인재와 자금으로 해결된다는 것입니다. 일부 어려운 문제는 적대적 지능 아래에서도 여전히 어렵습니다. 통제가 통제자보다 더 똑똑한 시스템을 능가하는 모델링을 요구한다면, 희망은 방법이 아닙니다. 검증이 이루어질 때까지 예방하는 것이 그 형태의 문제에 대한 성숙한 대응입니다.