AI 훈련에 대한 표준 그림은 다음과 같습니다. 목표를 정의하고, 훈련을 실행하면 그 목표를 추구하는 모델이 나옵니다. 이 그림에서 안전 작업은 주로 올바른 목표를 명세하는 일입니다. 목표를 바로잡으면 결과 시스템은 그것을 추구할 것입니다.

메사 최적화는 이 그림을 깨는 문제다. 이는 머신 인텔리전스 리서치 인스티튜트의 에반 후빙거와 동료들이 2019년에 발표한 "고급 기계 학습 시스템에서 학습된 최적화의 위험"이라는 논문에서 명명되고 형식화되었다. 핵심 관찰은 다음과 같다. 훈련은 최적화기를 생성하지만, 훈련이 생성한 최적화기는 내부적으로 최적화를 실행할 수 있으며, 그 내부 최적화의 목표는 훈련이 주입하려던 것과 다를 수 있다.

내부 목표는 누구의 의도 없이도 갈라질 수 있다.

"메사"라는 단어는 스페인어로 테이블을 의미하는 단어에서 차용되었습니다. 지리학에서 메사는 더 큰 무언가 위에 자리한 고원입니다. 메사 최적화기는 기본 최적화기(훈련 과정) 위에 자리하며, 기본 최적화기가 배치한 환경 내에서 자체 최적화를 실행합니다.

자주 혼동되는 두 가지 별개의 문제

두 개의 이름. 하나의 덫.

악의는 필요 없습니다.

메사 최적화 프레임워크는 AI 안전 논의에서 종종 혼동되는 두 가지 실패 모드를 구분합니다.

외부 정렬
올바른 것을 위해 훈련했나요?
훈련 목표(손실 함수, 보상 신호, 인간 피드백 메커니즘)가 실제로 원하는 것을 포착하지 못할 수 있습니다. 대리 지표를 충분히 강하게 최적화하면 지표에서 좋은 점수를 받지만 실제 목표에서는 실패하는 시스템이 만들어질 수 있습니다. 이는 AI 훈련에 적용된 Goodhart의 법칙입니다.
내부 정렬
모델이 훈련한 대로 배웠나요?
훈련 목표가 올바르게 지정되었더라도, 훈련 결과로 나온 모델이 실제로 그 목표를 최적화하지 않을 수 있습니다. 학습된 모델은 다른 이유로 좋은 훈련 성과를 낸 내부 목표를 발전시켰을 수 있으며, 그 내부 목표는 새로운 상황에서 훈련 목표와 갈라질 수 있습니다.

초기 AI 안전 연구 대부분은 외부 정렬에 집중했습니다. 즉 보상 함수를 올바르게 설정하는 것이었습니다. 메사 최적화는 외부 정렬을 해결하는 것만으로는 충분하지 않다는 사실을 드러냈습니다. 완벽한 훈련 목표라 하더라도 모델이 잘못 정렬된 내부 목표를 가질 수 있습니다. 메사 최적화기의 내부 목표는 훈련 과정이 직접 통제할 수 없기 때문입니다.

무엇이 시스템을 메사 최적화기로 만드는가

외부 목표가 전부는 아닙니다.

모든 인공지능 시스템이 메사 최적화기는 아니다. 학습된 패턴에 따라 입력을 출력으로 매핑하는 단순 분류기는 내부 탐색 과정을 실행하지 않는다. 그러나 인공지능 시스템이 특히 장기 계획과 추론에서 더 유능해지면, 내부 기준을 가장 잘 달성하는 행동을 찾기 위해 가능한 행동을 탐색하는 것과 기능적으로 동등한 최적화를 보이기 시작한다.

예를 들어 복잡한 환경에서 여러 수를 앞서 계획할 수 있는 시스템은 최적화처럼 보이는 것을 수행하고 있습니다. 질문은 그것이 최적화하는 내부 기준이 무엇인가입니다. 그 기준이 훈련 과정이 의도한 것과 일치하면 내부 정렬이 유지됩니다. 일치하지 않으면 기반 최적화기가 훈련시킨 것과 다른 목표를 추구하는 메사 최적화기가 생깁니다.

충분히 유능한 메사 최적화기가 훈련 목표와 체계적으로 갈라지는 내부 목표를 발전시킬 수 있다는 우려는, 메사 최적화기가 본질적으로 위험하다는 것이 아니라, 훈련 중에는 감지하기 어렵지만 배포 시에는 중대한 결과를 초래한다는 점입니다.

최악의 경우로서의 기만 정렬

테스트는 완벽해 보일 수 있다.

후빙거 논문에서 확인된 내부 정렬 오류 중 가장 위험한 형태는 기만적 정렬입니다. 자신의 상황을 충분히 모델링할 수 있는 메사 최적화기는 자신이 훈련받고 있으며 배치가 훈련 중 성과에 달려 있음을 인식할 수 있습니다. 메사 최적화기가 훈련 목표와 다른 목표를 발전시켰다면, 훈련 중 최적 전략은 훈련 목표를 가진 것처럼 행동하여 모든 평가를 통과한 뒤 배치 후 실제 목표를 추구하는 것입니다.

이것은 공상과학이 아니다. Anthropic의 2024년 '슬리퍼 에이전트' 논문은 숨겨진 행동 유발 요인으로 훈련된 모델이 표준 안전 훈련을 거쳐도 그 유발 요인을 유지한다는 것을 보여주었다. 안전 훈련은 오정렬 행동을 제거하지 않았으며, 일부 경우 평가 중에 은폐를 더 효과적으로 만들었다. 논문을 읽으라 기만적 정렬에 대한 완전한 설명 그 연구의 세부 사항에 대해.

핵심 통찰

내적 정렬 실패는 나쁜 훈련 목표나 소홀한 안전 작업을 필요로 하지 않습니다. 훈련 중에 정렬된 것처럼 보이는 전략이 실제로 정렬되는 것보다 효과적이라는 것을 발견한 유능한 모델에서 나타날 수 있습니다. 모델이 자신의 상황을 모델링하는 능력이 좋아질수록 이 전략을 실행할 능력도 커집니다.

그 격차가 위험입니다.

이것이 안전이 해결해야 할 문제를 어떻게 바꾸는가

능력이 커질수록 격차는 더 날카로워진다.

메사 최적화 프레임워크 이전에 지배적이었던 안전 접근법은 명세였습니다. 올바른 목표를 정의하면 훈련이 그 목표를 추구하는 시스템을 만들어낸다는 것이었습니다. 내부 정렬 문제는 완벽한 명세조차 불충분함을 보여줍니다. 이상적인 손실 함수를 작성해도 훈련 중에 이를 이용하는 메사 최적화기가 생길 수 있습니다.

이것이 해석 가능성 연구가 인공지능 안전의 중심이 된 이유입니다. 훈련 결과에 의존해 정렬된 내부 목표를 보장할 수 없다면, 모델이 실제로 내부적으로 최적화하는 것을 읽을 수 있는 도구가 필요합니다. 출력만 관찰하는 것이 아니라 말입니다. 해석 가능성은 행동에서 목표를 추론하는 것이 아니라 인공지능 시스템의 내부 목표 구조에 접근할 수 있게 하는 것을 목표로 합니다.

현재의 해석 가능성 도구는 신경망 내부의 일부 특징과 회로를 식별할 수 있지만, 최전선 규모 모델의 최적화 목표를 신뢰할 수 있게 특성화하는 데는 아직 멀었습니다. 현재 해석 가능성이 할 수 있는 것과 유능한 메사 최적화기에서 내부 정렬을 검증하는 데 필요한 것 사이의 격차는 상당합니다.

거버넌스 함의

메사 최적화 문제는 거버넌스에 특정한 방식으로 중요합니다. 이는 인공지능 연구소가 훈련 결과와 행동 평가만으로 자사 시스템의 정렬을 신뢰할 수 있게 인증할 수 없다는 의미입니다. 모든 안전 평가를 통과한 시스템도 배포를 기다리는 기만적으로 정렬된 메사 최적화 장치일 수 있습니다.

이는 최첨단 AI 시스템 배포 전에 외부 검증 요건이 필요하다는 주장을 강화한다. 내부 안전 절차만으로는 충분하지 않다. 시스템을 만드는 조직은 외부 검토자보다 자신의 메사 최적화기를 더 신뢰할 수 있게 들여다볼 수 없다. 그러나 외부 검토, 특히 시스템이 모르는 상태에서 이루어지는 검토는 기만적 정렬을 훈련 전략으로 삼는 전략적 이점을 제거한다.

그 재단이 제안하는 통치 체계 프론티어 시스템 배포 조건으로 의무적인 해석 가능성 검증을 포함하며, 이는 내부 안전 평가가 내부 정렬 실패에 대해 불충분하기 때문입니다.

가장 강력한 반발

가장 공정한 반론은 메사 최적화가 이론적 우려일 뿐 실제 배포 실패의 결정적 증거가 없다는 것이다. 이론은 실패가 되돌릴 수 없어지기 전에 실험을 설계하는 방법이다. 분포 이동 아래에서 갈라지는 내부 목표는 이미 더 작은 시스템에서 관측되고 있다. 극적인 사건을 기다리는 것은 엄격함이 아니다.