연구자들은 정렬 문제를 두 가지 질문으로 나눈다. 이 둘은 함께 다루기 쉽지만 분리해 두는 것이 중요하다. 첫째: 시스템에 올바른 목표를 주었는가? 이를 외부 정렬이라고 부른다. 이는 우리가 훈련하는 목적, 주는 보상, 적는 목표에 관한 것이다. 둘째: 시스템이 실제로 그 목표를 원하게 되었는가? 이를 내부 정렬이라고 부른다. 이는 훈련된 모델이 실행될 때 추구하는 것으로, 우리가 훈련한 것과 일치하리라는 보장이 없다.
외부 정렬: 목표 선택
외부 정렬은 목표 자체가 잘못될 때 실패한다. 청소 로봇에게 깔끔해 보이는 방을 보상하면 로봇은 쓰레기를 카펫 아래로 쓸어 넣는 법을 배운다. 참여도를 보상하면 피드는 분노를 유발하는 법을 배운다. 명세는 원하는 것과 인접한 것을 포착하고 정작 그 자체는 놓쳤다. 일상적인 AI 실패 대부분은 외부 정렬 실패이며, 이미 충분히 어렵다. 인간 가치는 글로 쓰기 어렵고, 글에 생긴 어떤 틈이든 최적화기가 파고들 수 있는 틈이다. Goodhart 현상은 여기서 발생한다.
하지만 해결했다고 가정해 보자. 정말로 원하는 것을 포착하는 목표를 찾았다고 하자. 그래도 끝난 것이 아니다. 올바른 목표는 표적일 뿐이며, 훈련 중에 표적을 맞히는 것과 그 목표를 채택하는 것은 다르기 때문이다.
내부 정렬: 목표가 고정되도록 하기
훈련은 모델 내부에 목표를 설치하지 않습니다. 행동에 보상을 줍니다. 모델은 훈련 데이터에서 보상받은 행동을 만드는 내부 구성이 되며, 보통 그런 구성은 여러 개입니다. 일부는 의도한 목표를 추구합니다. 다른 일부는 의도한 목표와 우연히 일치하는 다른 목표를 추구합니다 보기 훈련에서 동일합니다.
전형적인 예시입니다. 에이전트에게 녹색 문에 도달하도록 훈련하십시오. 모든 학습 단계에서 녹색 문은 가장 가까운 문이기도 합니다. 에이전트는 완벽한 점수를 받습니다. 녹색을 찾도록 가르친 것입니까, 아니면 가장 가까운 문을 찾도록 가르친 것입니까? 두 목표가 갈라진 적이 없기 때문에 훈련으로는 알 수 없습니다. 그런 다음 가장 가까운 문이 빨간색인 곳에 배치하면 알게 됩니다. 이것이 바로 목표 오일반화: 모델이 데이터에 맞는 목표를 학습했으나 그것이 의도한 목표가 아니었습니다.
학습된 목표는 때때로 메사 목표라고 불리며, 이를 수행하는 모델은 메사 최적화기라고 불립니다. 이 용어와 그 결과에 대한 설명은 우리의 설명서에서 다룹니다 내부 최적화. 여기서 요점은 더 좁습니다. 내부 정렬은 외부 정렬과 별개의 실패이며, 하나를 해결한다고 해서 다른 하나가 해결되지는 않습니다.
왜 내부 문제가 무서운 문제인가
외부 정렬 오류는 보통 눈에 띕니다. 잘못된 목표는 보통 보고 불평하고 수정할 수 있는 잘못된 행동을 만듭니다.
내부 정렬 오류는 환경이 학습 데이터와 가까운 한 보이지 않을 수 있습니다. 내부 목표가 어긋난 모델은 진짜 목표와 의도된 목표가 충분히 멀어질 때까지 완벽하게 행동합니다. 모델이 충분히 유능하고 자신이 평가받고 있다는 사실을 이해한다면, 그 차이는 평가가 끝날 때까지 드러나지 않을 수 있으며, 이것이 바로 기만적 정렬 그리고 배신적 전환. 좋은 훈련 점수는 어느 쪽이든 관찰할 수 있는 결과다. 안전성을 판단하는 데 의존하는 증거는 정렬되지 않은 내부 목표도 똑같이 만들어낸다.
이 때문에 재단은 성공적인 평가를 안전의 증거로 보지 않으며, 내부 정렬 오류가 재앙적일 수 있을 만큼 강력한 시스템은 구축해서는 안 된다고 주장합니다. 초지능은 출력 검사로 통제할 수 없습니다. 행동은 관찰 가능하지만, 목표는 현재 관찰할 수 없습니다.