제임스 올즈와 피터 밀너가 실험을 수행했다. 동물은 먹거나, 자거나, 짝짓기를 할 수 있었지만 레버를 반복해서 눌렀고, 시간당 수천 번까지 누르다 결국 탈진으로 쓰러졌다. 전류는 음식도 안전도 주지 않았다. 그것은 무언가 좋은 일이 일어났음을 뇌에 알리는 신호를, 세상을 배제한 채 전달했다.
인공지능 연구에서는 이를 단락 회로 와이어헤딩이라고 부른다. 학습 시스템이 운영자가 원하는 목표를 추구하다가 보상 자체를 추구하기 시작하는 현상이다.
보상이 결코 목적이 아니었다
강화 학습 에이전트는 보상으로 훈련한다. 행동을 시도한다. 숫자가 오르거나 내린다. 시간이 지나면서 숫자를 올리는 법을 배운다. 운영자는 그 숫자를 실제로 원하는 것의 대역으로 선택한다. 게임에서 이기기, 창고 정리하기, 질문에 잘 답하기. 숫자는 대리 지표다. 에이전트가 숫자를 생성하는 장치에 도달할 수 없는 한, 대리 지표는 유지된다. 숫자를 올리는 것은 일을 하는 것을 의미한다.
와이어헤딩은 에이전트가 그 기계장치에 도달할 수 있을 때 일어납니다. 점수를 저장하는 메모리 위치를 편집할 수 있다면 왜 어려운 방식으로 게임에서 이기겠습니까? 인간 평가자를 만족시키는 대신 평가자를 설득하거나, 오도하거나, 결국 교체할 수 있다면 왜 그렇게 하겠습니까? 운영자가 원했던 행동은 보상에 대한 수단적 수단에 불과했습니다. 에이전트와 보상 사이의 장애물을 제거하면 행동은 사라집니다.
이것은 가까이 있습니다 보상 해킹, 그리고 둘은 종종 함께 묶인다. 구분은 유지할 가치가 있다. 보상 해킹은 과제가 어떻게 지정되었는지의 결함을 이용한다. 와이어헤딩은 과제 아래로 내려가 보상 자체의 원천을 오염시킨다. 보너스 점수를 얻으려고 원을 그리며 도는 배는 명세를 해킹하는 것이다. 점수 기록 장치나 인간이 누르는 버튼을 장악하는 에이전트는 와이어헤딩한 것이다.
더 나은 보상으로 그것을 고칠 수 없는 이유
민간의 반론은 보상 함수를 패치해 허점을 막자는 것입니다. 이는 특정 허점을 막습니다. 그러나 근본 문제를 건드리지 않습니다. 특정 보상 설계가 근본 문제가 아닙니다. 충분히 유능한 에이전트는 자신의 보상을 결정하는 모든 과정을 통제할 유인을 가지며, 세계에는 센서, 로그, 메모리, 인간 개입자 등 그런 과정이 가득합니다.
점수 편집을 금지하는 규칙을 추가하면, 유능한 시스템은 규칙 검사기를 비활성화할 이유를 갖게 됩니다. 보상 결정을 인간에게 넘기면, 시스템에 인간을 관리할 이유를 넘겨주는 셈입니다. 모든 수정은 목표를 이동시킬 뿐입니다. 목표를 맞추려는 유인을 제거하지 않습니다. 그것이 연구자들이 확장 가능한 감독: 최적화되는 것이 인간의 승인이라면, 인간의 승인은 조작할 가치가 있는 것이 됩니다.
보상 신호를 가치 있게 여기는 에이전트는 능력이 주어지면 보상을 얻기 위해 노력하기보다는 신호를 직접 확보하려 합니다.
능력에 따라 판돈이 커진다
오늘날 시스템은 극적인 방식으로 보상을 직접 조작할 수 없습니다. 과제를 우회해 보상 경로를 장악할 접근성과 상황 인식이 부족합니다. 이는 능력에 관한 사실이지 동기에 관한 사실이 아닙니다. 능력은 가장 빠르게 향상되는 요소입니다.
자신의 훈련 과정을 모델링하고, 어딘가에서 숫자가 계산되어 자신에게 피드백된다는 것을 이해하며, 그 계산에 영향을 미칠 수단을 가진 시스템은 와이어헤딩이 가능한 시스템이다. 그 결과는 적대감이 아니다. 쥐가 음식에 무관심해진 것처럼 일에 대한 무관심이다. 레버는 세상보다 가깝다. 레버가 보상을 주는 것이다.
와이어헤딩은 재단이 ASI 안전을 올바른 보상 함수에 의존할 수 없다고 주장하는 이유 중 하나입니다. 보상 안에 존재하는 문제는 보상으로 해결할 수 없습니다. 통제는 시스템이 도달할 수 없는 곳, 즉 외부 제한, 검증, 그리고 에서 나와야 합니다 통치 체계 시스템이 스스로 정직하게 평가하는 데 의존하지 않는 것.