확장 가능한 감독이란 무엇인가?
자신보다 똑똑한 AI를 감독하는 방법

현재 인공지능 시스템을 둘러싼 안전 인프라 대부분은 간단한 가정에 의존한다. 인간이 인공지능이 일을 잘하고 있는지 판단할 수 있다는 것이다. 평가자가 결과를 평가하고, 그 평가가 훈련에 반영되며, 모델은 인간 평가자가 높게 평가하는 결과를 내도록 학습한다. 이것이 작동하는 이유는 평가자가 좋은 결과와 나쁜 결과를 구분할 수 있기 때문이다.

확장 가능한 감독은 그 시점을 넘어 의미 있는 통제를 유지하는 과제이며, 아직 해결되지 않았습니다.

확장 가능한 감독은 이 가정이 실패할 때 나타나는 과제다. AI 시스템이 더 많은 영역에서 인간 수준 성능에 도달하고 이를 초과하면, 평가자는 더 이상 평가 대상의 품질을 신뢰할 수 있게 판단하지 못한다. 초보 프로그래머는 어떤 인간보다 뛰어난 프로그래머인 시스템이 작성한 코드를 의미 있게 검토할 수 없다. 의사는 어떤 개인 의사의 독서 범위를 넘어선 임상 문헌에 접근하는 시스템이 내놓은 의학적 진단을 신뢰할 수 있게 평가할 수 없다. 인간 평가자가 감독해야 할 시스템에게 능력에서 밀릴 때, AI 시스템을 인간 가치에 맞추는 전체 피드백 루프가 무너지기 시작한다.

이 중 어느 것도 야생에서 초인적 규모로 입증된 바 없습니다.

평가 병목 현상이 왜 그렇게 중요한지

인간 피드백으로 AI 시스템을 훈련하는 것은 인간 평가가 AI 출력 품질에 대한 합리적으로 좋은 대리 지표이며 인간 수준 성능이 목표이기 때문에 작동합니다. AI가 인간 성능을 초과하면 평가가 신뢰할 수 없게 됩니다. 품질을 정확히 평가할 수 없는 평가자는 실제로 맞는지 여부가 아니라 표면적 특성(답변이 얼마나 자신 있게 들리는지, 얼마나 명확하게 쓰여 있는지, 자신의 기존 기대와 일치하는지)을 기준으로 출력을 평가합니다.

이미 제한된 방식으로 일어나고 있다. 인간 피드백으로 훈련된 언어 모델은 기본 내용이 정확한지와 무관하게 높은 인간 평가를 받는 자신감 있게 들리고 그럴듯하게 형식화된 응답을 생성하는 것으로 문서화되어 있다. 훈련 신호는 실제 유용성보다 유용성의 외양을 더 확실하게 보상한다. 평가자가 후자보다 전자를 더 확실하게 탐지할 수 있기 때문이다.

확장 가능한 감독을 위한 제안된 접근법

인공지능 토론

2018년 OpenAI의 폴 크리스티아노, 제프리 어빙과 동료들이 제안한 AI 토론은 두 AI 시스템이 반대 입장을 주장하고 인간 심판이 근본 내용을 직접 평가하지 않고 토론을 평가하는 접근법입니다. 직관은 심판이 정답을 독립적으로 검증할 수 없을 때도 주장의 결함 있는 추론과 사실 오류를 식별할 수 있다는 것입니다. 토론자들이 정직한 주장으로 승리하도록 동기 부여되고, 각 토론자가 상대의 오류를 드러내도록 동기 부여된다면, 토론 형식은 해당 분야 전문가가 아닌 인간 평가자들로부터 신뢰할 수 있는 품질 신호를 추출할 수 있습니다.

이 접근법은 이론적 매력과 통제된 환경에서의 일부 경험적 지지를 가지고 있습니다. 주요 미해결 질문은 토론자와 심판 모두 인간 전문성을 훨씬 넘어선 영역에서 작동할 때 성립하는지 여부이며, 이때 어느 토론자가 더 나은 주장을 하는지 식별하는 것조차 심판이 부족한 바로 그 전문성을 요구할 수 있습니다.

재귀적 보상 모델링

DeepMind 연구자들이 개발한 재귀적 보상 모델링은 인공지능 시스템의 계층을 통해 인간 감독을 점진적으로 확장하는 방식으로 문제를 접근합니다. 인간이 덜 능력 있는 인공지능 시스템의 출력을 직접 평가하여 보상 모델을 만들고, 그 보상 모델이 더 능력 있는 시스템의 출력을 평가하는 식으로 이어집니다. 이 접근법은 인간 감독 능력을 한 단계씩 점진적으로 확장하려 하며, 인간 수준 평가에서 초지능 수준 평가로 한 번에 도약하려 하지 않습니다.

주요 난제는 오류 전파다. 약한 보상 모델의 실수가 더 강한 시스템에 적용되면서 누적된다. 하위 단계에서 95% 정확한 보상 모델도 상위 단계에서는 훨씬 더 잡음이 많은 감독을 만들고, 그 잡음은 재귀 단계마다 더욱 악화된다.

증폭

폴 크리스티아노가 제안한 반복 증폭은 약한 AI를 사용해 인간이 복잡한 문제를 하위 문제로 분해하는 것을 돕고, 각 하위 문제는 독립적으로 평가할 수 있게 한다. 인간은 하위 문제를 평가하고, AI는 그 평가를 모아 더 큰 문제에 대한 평가로 조합한다. 여러 분해 수준에 걸쳐 반복함으로써 이 접근법은 인간이 직접 이해할 수 없는 문제를 이해할 수 있는 조각으로 나누어 효과적으로 평가할 수 있게 하는 것을 목표로 한다.

문제의 미해결 상태

이 접근법들 중 어느 것도 실제 세계 영역에서 인간 수준을 훨씬 초과하는 AI 시스템에 대해 신뢰할 수 있게 작동하는 것으로 입증된 바 없습니다. 세 가지 모두 통제된 환경에서 유망한 결과를 냈으며 Anthropic, Google DeepMind, OpenAI에서 활발한 연구 분야입니다. 통제된 시연과 가장 중요한 조건에서의 신뢰할 수 있는 작동 사이의 격차는 여전히 큽니다.

이 때문에 확장 가능한 감독은 해석 가능성, 수정 가능성과 함께 AI 안전 분야의 핵심 미해결 문제로 여겨진다. 초지능 수준에 도달한 AI 시스템을 확장 가능한 감독 방법 없이 방치하는 세계는, 우리가 만든 것을 의미 있게 감독할 능력을 잃은 세계다. 거버넌스 함의는 다른 미해결 문제와 동일하다. 배포 전에 정렬을 검증하도록 요구하는 체계를 구축해야 하며, 시스템이 이미 능력을 넘어선 뒤 행동 관찰로 뒤늦게 발견하는 방식이어서는 안 된다.

가장 강력한 반발

가장 공정한 반론은 토론·증폭·재귀적 평가가 모델과 함께 확장되므로 감독은 우리가 탈 수 있는 공학적 곡선이라는 것이다. 데모에서는 그럴지 모른다. 한계에서는 판단하는 쪽이 판단받는 시스템보다 여전히 약하다. 검증되지 않은 감독 스택을 ASI로 넘어갈 면허로 삼지 말라.