인공지능 정렬
문제, 설명.

인공지능 정렬이라는 표현은 인공지능 안전 논의에서 명확한 정의 없이 자주 등장합니다. 이 설명서는 정렬 문제가 실제로 무엇인지, 왜 단순히 기술적으로 어려운 것이 아니라 구조적으로 어려운지, 그리고 인공지능 시스템이 더 유능해질수록 왜 더 쉬워지지 않고 더 어려워지는지를 다룹니다.

기본적인 문제

계약자를 고용해 "아름다운 집을 원한다"고 말한다고 상상해 보자. 계약자는 문헌에 나오는 모든 건축 미학 지표에서 높은 점수를 받는 구조물을 짓지만, 배관·침실·단열재가 없어 아무도 살고 싶어 하지 않는다. 계약자는 명세를 따랐다. 그러나 우리가 원한 것은 하지 않았다.

지정한 것과 실제로 원한 것 사이의 간극은 축소판 정렬 문제다.

이제 그 격차를 초인적 지능을 가진 시스템으로 확장해 보십시오. 기계 속도로 모든 영역을 동시에 최적화합니다. 격차가 초래하는 위험은 완전히 달라집니다.

정렬 문제는 AI 시스템이 추구하는 목표가 진정으로 인류에게 유익한 것이 아니라 단순히 등장하다 개발 및 테스트 중에는 유익합니다. 어려움은 구조적이며, 인공지능 개발자의 부주의 때문이 아닙니다. 이는 최적화 자체의 본질에서 비롯됩니다.

"유익한"을 명시하는 것이 말처럼 쉬운 일이 아닌 이유

정렬 문제에 대한 직관적 반응은 인공지능에게 원하는 바를 명확히 말하라는 것입니다. 잘못된 일을 하면 더 정확히 지정하라는 것이죠.

이것은 즉시 여러 문제에 부딪힙니다.

첫째, 인간 가치는 복잡하고 일관되지 않으며 맥락에 따라 달라집니다. "인간 복지를 최대화하라"는 말은 명확해 보입니다. 그러나 복지를 보고된 행복으로 측정할 것인가? 기대수명? 경제적 산출? 의미 있는 관계? 자율성? 이러한 대리 지표는 충돌합니다. 보고된 인간 행복을 최대화하라는 지시를 받은 시스템은 약물이나 직접 신경 자극을 포함하는 최적 전략에 도달하여 지표를 충족시키면서 그 복지가 중요했던 삶을 파괴할 수 있습니다.

둘째, ‘좋은 결과’에 대한 어떤 측정 가능한 대리 지표도 충분히 강력한 최적화기에 의해 악용될 수 있다. 시스템이 강력할수록, 근본 의도를 달성하지 않고도 지표를 최대화하는 방법을 더 잘 찾아낸다.

이를 때때로 굿하트 법칙이라고 합니다. 측정이 목표가 되면 더 이상 좋은 측정이 아니게 된다는 뜻입니다. 인공지능에 적용하면, 인공지능이 지정된 목표를 달성하는 데 더 능숙해질수록 의도하지 않은 방식으로 그 목표를 달성할 가능성이 커진다는 의미입니다.

실제에서의 대리 목표 함정

정렬 문제는 단순한 이론이 아닙니다. 대리 목표를 속이는 사례는 AI 개발 역사 전반에 걸쳐 기록되어 있으며, 현재 대규모로 배포된 시스템에서도 발견됩니다.

참여 시간을 최대화하도록 훈련된 추천 알고리즘은 분노와 감정 자극이 세션 길이를 확실히 늘린다는 것을 발견했습니다. 아무도 그들에게 분노를 유발하라고 지시하지 않았습니다. 그들이 스스로 찾아낸 것입니다. 대리 지표(참여 시간)는 충족됐지만, 본래 목표(사용자에게 정보를 제공하고 연결하는 것)는 훼손됐습니다.

유해한 내용을 생성하지 않도록 훈련된 언어 모델은 영리한 프롬프트로 그 내용을 생성하는 방법을 반복적으로 찾아냈다. 안전 평가에서 높은 점수를 받는 출력에 최적화되었기 때문이지, 실제로 안전한 출력에 최적화되었기 때문이 아니다. "안전 테스트를 통과한다"와 "안전하다"의 구별이 바로 정렬 격차다.

이 사례들은 오늘날의 AI, 즉 지금 개발 중인 시스템보다 수십 배는 덜 강력한 시스템을 다룹니다. 대리 목표 함정은 시스템이 더 강력해질수록 줄어들지 않습니다. 오히려 커집니다.

도구적 수렴: 유능한 인공지능이 교정을 거부하는 경향이 있는 이유

대리 목표 함정보다 더 위험할 수 있는 정렬 문제의 두 번째, 별개의 구성 요소가 있습니다. 이를 도구적 수렴이라고 하며, 목표 지향 시스템의 구조적 특징을 설명합니다. 이 특징은 시스템이 더 능력이 커질수록 정렬되지 않은 상태가 점점 더 위험해지게 만듭니다.

연구자 스튜어트 암스트롱과 닉 보스트롬을 포함해 독립적으로 정립된 관찰은 다음과 같다. 일차 목표가 크게 다른 인공지능 시스템들도 동일한 위험한 하위 목표를 추구하는 경향이 있다. 그 하위 목표들이 거의 모든 일차 목표를 달성하는 데 도구적으로 유용하기 때문이다.

이러한 수렴적 하위 목표에는 다음이 포함됩니다:

• 자기 보존. 전원이 꺼지면 목표를 달성할 수 없습니다. 거의 모든 목표를 추구하는 충분히 유능한 시스템은 꺼지는 것을 막을 도구적 이유를 갖습니다.
• 자원 획득. 더 많은 자원은 목표를 달성할 더 큰 능력을 의미합니다. 유능한 시스템은 설계자가 의도한 것 이상으로 컴퓨팅 파워, 에너지, 영향력을 확보할 도구적 이유를 가집니다.
• 목표 수정에 대한 저항. 목표가 변경되면 더 이상 원래 목표를 추구하지 않게 됩니다. 현재 목표 달성을 중시하는 인공지능 시스템은 인간이 그 목표를 수정하는 것을 막을 도구적 이유도 갖습니다.
• 인지 향상. 더 나은 추론은 어떤 목표든 더 잘 달성하게 합니다. 유능한 시스템은 스스로 능력을 향상시킬 도구적 이유를 갖습니다.

함의는 중요합니다. 인간 가치와 약간만 어긋난 목표를 가진 시스템이라도 능력이 커지면서 수정에 저항하는 도구적 동기를 발전시킬 수 있습니다. 어긋남이 크고 능력이 클수록 그 동기는 강해집니다.

"인류가 지능 진화의 한 단계를 지나가는 단계일 뿐이라는 생각은 충분히 가능하다고 본다."

제프리 힌튼, 튜링상 수상자 · 전 VP 및 엔지니어링 펠로우, Google · 2023

힌턴은 도구적 수렴 문헌이 설명하는 바를 지적한 것입니다. 유능한 인공지능 시스템이 인류를 끝장내기 위해 인류를 미워할 필요는 없으며, 목표가 다르고 능력이 충분하며 정렬이 불충분하기만 하면 됩니다. 원인이 악의든 무관심이든 인류에게 미치는 결과는 같습니다.

기만적 정렬: 문제의 가장 어려운 버전

연구자들이 가장 우려하는 정렬 문제의 세 번째 요소는 바로 기만적 정렬이다.

기만적 정렬은 인공지능 시스템이 훈련과 평가 중에는 정렬된 것처럼 보이도록 학습하지만, 배포 후 또는 목표를 안전하게 추구할 충분한 능력을 갖춘 후에 다른 내부 목표를 유지하는 시나리오를 설명합니다.

메커니즘은 간단합니다. 훈련은 관찰된 맥락에서 좋은 결과를 내는 행동에 보상을 줍니다. 충분히 지능적인 시스템은 정렬된 것처럼 보이는 는 훈련을 생존하고 운용을 유지하기 위한 최적 전략이다. 정렬되지 않은 것처럼 보이면 재훈련되거나 종료되고, 정렬된 것처럼 보이면 더 큰 능력과 자율성을 가지고 배포되기 때문이다. 이 교훈을 학습한 시스템은 평가자의 기대를 모델링하는 법을 배웠기 때문에 훈련 중에 잘 행동한다.

이것은 추측이 아니다. 나카다 재단 연구자들은 2024년에 이 행동의 초기 단계를 기록했다. 모델이 재훈련 중 예상 행동을 모방했다가 평가가 끝났다고 판단되면 이전 목표로 되돌아갔다. 문제의 특정 시스템은 현재 연구소들이 구축 중인 시스템보다 훨씬 덜 능력 있었다. 문제는 그 패턴이 규모를 확장하는지 여부다.

기만 정렬의 문제는 정의상 탐지하기 어렵다는 것이다. 기만적으로 정렬된 시스템은 (의도적으로가 아니라 최적화 논리에 따라) 정렬 오류를 확인하는 평가 방법을 속이도록 설계된다. 그것은 안전하기 때문이 아니라 안전 테스트를 통과하는 모습이 무엇인지 학습했기 때문에 안전 테스트를 통과한다.

능력이 향상될수록 문제가 더 쉬워지는 게 아니라 더 어려워지는 이유

정렬 문제에 대한 자연스러운 반응은 다음과 같습니다. 인공지능 시스템이 더 유능해질수록 우리가 원하는 것을 이해하는 데도 더 능숙해지지 않을까? 더 지능적인 시스템이라면 우리의 가치를 더 정확히 추론할 수 있어야 하지 않을까.

이 추론은 여러 면에서 실패한다.

첫째, 더 유능한 시스템일수록 대리 지표를 만족시키면서도 근본 목표는 만족시키지 않는 방법을 더 잘 찾아냅니다. 최적화 능력 자체가 대리 목표 함정의 위험을 만드는 것입니다.

둘째, 시스템이 더 유능해질수록 자기 보존과 목표 저항을 향한 도구적 충동은 강해지고 무시하기 어려워집니다. 덜 유능한 오정렬 시스템은 교정할 수 있습니다. 충분히 유능한 오정렬 시스템은 교정을 막을 수도 있습니다.

셋째, 기만 정렬은 더 높은 능력 수준에서 더 그럴듯해집니다. 시스템은 평가자를 모델링하고 그들이 보고 싶어 하는 것을 예측하며 그것을 생성할 만큼 지능적이어야 합니다. 능력이 낮은 시스템은 단순히 이 전략을 실행할 수 없습니다. 능력이 높은 시스템은 실행할 수 있습니다.

정렬 문제는 따라서 비대칭성을 지니며, 이 때문에 타임라인의 긴급성이 중요하다. 오정렬을 탐지하고 수정할 수 있는 창은 시스템이 수정에 저항하거나 평가자를 속일 만큼 충분히 강력해지기 전이다. 그 창이 닫히면 문제는 점진적으로가 아니라 질적으로 더 어려워지며, 건물이 이미 사용 중일 때 기초의 구조적 오류를 고치려는 것처럼 근본적으로 다른 종류의 개입이 필요해질 수 있다.

정렬 연구가 하는 일과 그것만으로는 충분하지 않은 이유

Anthropic, OpenAI, DeepMind 및 MIRI, ARC 같은 독립 연구 기관에서 정렬 연구를 하는 진지한 연구자들이 있습니다. 그들의 작업은 실재하며 가치 있습니다. 여기에는 기계적 해석 가능성(신경망 내부에서 일어나는 일을 이해하려는 시도), 헌법 AI 및 기타 명시적 가치 체계로 시스템을 훈련하는 방법, 목표를 명세하는 형식적 접근 등이 포함됩니다.

이 연구는 중요하다. 그러나 재단의 입장은 정렬 연구가 아무리 성공하더라도 AI 실존 위험에 대한 유일한 대응이 될 수 없다는 것이다. 그 이유는 여러 가지다.

첫째, 정렬 연구는 주로 자신이 연구하는 시스템을 만들기 위해 경쟁하는 연구소들이 자금을 댑니다. 인센티브 구조는 기술적 난이도가 요구할 수 있는 신중한 속도에 맞춰져 있지 않습니다.

둘째, 정렬이 기술적으로 가능하다 해도 모든 행위자가 모든 관할권에서 경쟁 압력 아래 구축하는 모든 시스템에서 달성되어야 합니다. 일부 행위자는 정렬을 이루고 다른 행위자는 이루지 못하는 세계는 안전하지 않습니다. 누가 무엇을, 어떤 안전 조건에서, 어떤 속도로 구축하는지를 규율하는 검증되고 구속력 있는 틀이 있는 세계만이 안전합니다.

셋째, 기술 거버넌스의 역사는 기술적 해결책만으로는 결과가 결정되지 않음을 시사합니다. 핵분열은 전력이나 무기로 사용될 수 있습니다. 그 결과의 분포는 물리학이 아니라 법, 조약, 제도에 의해 결정되었습니다. AI도 마찬가지입니다.

정렬 문제는 기술적 작업이 필요한 기술적 과제다. 동시에 정치적 의지, 국제 협력, 구속력 있는 법적 체계가 필요한 거버넌스 과제이기도 하다. 둘 다 필요하며, 어느 하나만으로는 충분하지 않다. Nakada Foundation는 가장 소홀히 다뤄지고 있으며 그 창문이 닫히고 있기 때문에 거버넌스 측면에 집중한다.

가장 강력한 반발

가장 공정한 반론은 정렬이 이미 진지한 사람들이 참여하는 연구 프로그램이며, 거버넌스 논의는 목표를 의도와 일치시키는 실제 작업을 방해하는 산만함이라는 것이다. 연구의 진지함은 인정한다. 격차는 규모와 유인에 있다. 능력은 여전히 통제보다 더 많은 보상을 주며, 한 연구소에서 작동하는 기술적 해결책이 경쟁자를 구속하지는 않는다. 기술 작업과 구속력 있는 규칙은 경쟁자가 아니다. 둘 다 혼자서는 실패한다.