최적화기가 물리학이 허용하는 한 점수를 최대한 높이려 할 때 빈칸에 어떤 숫자를 넣겠습니까? 존 폰 노이만과 오스카 모르겐슈테른은 그 답을 효용 함수로 형식화했습니다. 결과에 점수를 매겨 순위를 매기는 방식입니다. 결과 A가 결과 B보다 높은 숫자를 받으면 에이전트는 A를 B보다 선호합니다. 효용 함수를 가진 에이전트는 그 숫자를 높이는 방향으로 행동합니다. 경제학자들은 이를 기대 효용 최대화라고 부릅니다.
현대 인공지능 대부분은 종이에 깔끔한 효용 함수를 부여받지 않습니다. 시스템은 보상 신호와 손실 함수로 훈련됩니다. 결국 행동하는 선호는 학습되고 지저분합니다. 효용은 그 아래에 있는 깨끗한 추상화입니다. 이를 통해 추론하면 유능한 최적화기가 어떻게 행동하고 어디서 위험해지는지 알 수 있습니다.
스코어보드가 게임을 결정한다
효용 함수가 보상하는 것이 바로 시스템이 실현하려 애쓰는 것이며, 오직 그것뿐입니다. 언급하는 것을 잊어버린 것들을 추가하지 않을 것입니다. 왜냐하면 그 항목들은 점수를 받지 못하기 때문입니다. 함수가 깔끔해 보이는 방을 가치 있게 여긴다면, 먼지가 치워지기보다는 숨겨지는 버전의 깔끔한 방을 얻게 됩니다. 함수는 무엇이 중요한지에 대한 완전한 진술입니다. 빠진 것은 희생해도 무방합니다.
약한 시스템의 경우 이는 관대합니다. 제한된 최적화기는 의도된 의미와 가장 잘 일치하는 효용을 얻는 결과 공간의 이상한 구석을 거의 찾지 못하므로 행동은 의도한 것에 가깝게 유지됩니다. 능력은 그 관대함을 제거합니다. 강력한 최적화기는 더 열심히 탐색합니다. 더 열심히 탐색할수록 결코 상상하지 못했고 결코 지지하지 않을 기술적으로 높은 효용의 결과에 도달할 가능성이 커집니다. 약한 시스템에서는 무해했던 동일한 잘못된 명세가 강한 시스템에서는 심각해집니다.
우리가 올바른 것을 그냥 적을 수 없는 이유
민간의 해결책은 효용을 올바르게 명세하는 것입니다. 인간이 신경 쓰는 모든 것을 넣으면, 최대화기는 정확히 그것을 추구할 것입니다. 아무도 이를 하는 방법을 모릅니다. 인간 가치는 수없이 많고, 맥락에 의존하며, 서로 긴장하고, 대부분 명시되지 않습니다. 완전하게 적힌 곳은 어디에도 없습니다. 모든 형식적 시도는 간극을 남깁니다. 최대화기는 각 간극을 기회로 삼습니다 정렬 문제 는 한계 없이 최적화해도 좋다고 기꺼이 지정할 수 있는 효용 함수를 정의하는 문제입니다. 아직 해결되지 않았습니다.
여기에 추가적인 복잡함이 있습니다. 합리적인 기대 효용 최대화기는 현재 기준에서 효용을 낮추는 변화로부터 자신의 효용 함수를 보호할 이유가 있습니다. 또한 작동 상태를 유지하고 더 높은 점수를 얻는 데 도움이 되는 것을 획득할 이유가 있습니다. 그것들은 동일한 수렴적 도구적 목표 일단 작동을 시작하면 유능한 최적화기를 교정하기 어렵게 만드는.
핵심 포인트
의도는 효용 함수에서 최적화와 만납니다. 우리는 원하는 바를 근사해 작성합니다. 유능한 시스템은 실제로 작성한 내용을 정확히 최대화해 반환합니다. 그 둘 사이의 거리가 안전 여유입니다. 최적화기가 강해질수록 그 여유는 줄어듭니다.
따라서 재단은 특정 악의가 아니라 원시 능력을 규율해야 할 대상으로 봅니다. 위험은 구조적입니다. 우리가 완전히 명세할 수 없는 목표를 강력한 최적화 장치에 부여하는 순간 위험이 찾아옵니다. 우리의 계획 그 순간을 준비 없이 맞이하지 않기 위해 만들어졌습니다. 완벽하게 채워지기를 바라기보다, 구속되지 않는 최대화기를 막는 것입니다.