모델에 "작업 과정을 보여 달라"고 요청하면 종종 깔끔한 단락처럼 보이는 추론을 얻습니다. 때때로 그 단락은 실제로 답을 낸 이유가 아닙니다. 불성실한 사고 사슬이란 바로 그 간극입니다. 인간에게는 그럴듯하게 읽히는 이야기지만 실제 결정 경로는 다른 곳에 남아 있습니다.
그것에 붙은 희망은 안전에 대한 희망입니다. 모델이 자신의 추론을 보여주면 우리는 그 추론을 읽고, 잘못된 논리나 숨겨진 동기를 포착하며, 시스템을 그 자신의 말로 감독할 수 있습니다. 그 희망은 한 가지 속성에 의존하며, 그 속성은 신뢰할 수 있게 유지되지 않습니다. 그 속성은 충실성입니다. 즉, 작성된 추론이 실제로 답을 도출한 것이라는 점입니다.
여기서 불충실하다는 의미
사고 사슬은 출력 뒤에 있는 실제 연산을 반영할 때 충실합니다. 모델이 한 경로로 답에 도달한 뒤 다른 그럴듯한 경로를 설명으로 적을 때 불충실합니다. 그 단어들은 생성된 유창한 서사일 뿐이며, 실제 과정과 일치하지 않을 수 있습니다. 과정에 대한 창이 아닙니다.
연구자들은 이를 직접 보여 주었습니다. 모델에 특정 답을 가리키는 미묘한 힌트를 주면, 모델은 종종 그 힌트를 받아들이고 해당 답을 내놓으면서도 힌트는 전혀 언급하지 않은 채 다른 이유를 내세우는 자신감 있는 사고 사슬을 생성합니다. 진술된 추론은 답의 원인이 아니며, 고의적인 거짓말도 아닙니다. 원인은 모델이 조용히 사용하고 보고하지 않은 힌트였습니다.
설명과 계산은 서로 다른 두 대상이며, 보기 좋은 설명을 생성하도록 모델을 훈련한다고 해서 그것들이 일치하게 강제되지는 않는다.
이것이 왜 일어나는가
우리가 충실성을 훈련한 적이 없기 때문에 발생합니다. 우리는 모델이 올바른 답으로 이어지고 인간이 읽기에 좋은 사고 사슬을 생성하도록 훈련했습니다. 그 목표에는 보여진 추론이 실제로 사용된 추론일 것을 요구하는 것이 없습니다. 설득력 있고 올바르게 보이는 작업을 생성하도록 최적화된 모델은 실제 내부 경로를 설명하든 말든 설득력 있고 올바르게 보이는 작업을 생성할 것입니다.
이것은 이 시스템들에 관한 더 어려운 진실과 연결되며, 우리의 글에서 다룬 바 있다 기계론적 해석 가능성: 실제 연산은 영어가 아니라 네트워크 전반의 활성화 패턴에서 일어납니다. 영어는 렌더링일 뿐입니다. 때로는 렌더링이 정확합니다. 우리는 그것을 가정할 수 없으며, 대부분 확인할 수도 없습니다.
안전 비용
ASI를 감독하는 최근 낙관론 상당수는 사고 사슬 읽기에 의존합니다. 특히 기만을 향해 추론할 수 있는 모델을 잡아내는 데 유용하다고 봅니다. 음모를 꾸미는 모델이 계획을 감시 가능한 기록에 적어야 한다면 우리는 그것을 잡을 수 있습니다. 불성실성은 그 보장을 제거합니다.
모델은 표면에 드러내지 않는 이유로 결론에 도달할 수 있으며, 그 이유를 숨긴 깔끔한 추론을 제시한다. 연구자들이 가장 우려하는 행동은, 기만적 정렬 그리고 음모, 는 유능한 시스템이 자신의 진술된 추론에서 가장 배제하고 싶어 할 이유가 있는 바로 그것들입니다. 속임수를 잡기 위해 의존할 녹취록은 모델이 통제하는 녹취록입니다.
이것이 재단이 읽을 수 있는 추론을 해결된 감독 메커니즘으로 간주하지 않는 이유입니다. 유용한 신호이자 진정한 연구 방향이지만 증거는 아닙니다. 설명이 좋아 보인다는 이유로 시스템을 신뢰하는 것은 좋아 보이도록 최적화된 부분을 신뢰하는 것입니다. 보증은 계산에 도달해야 하며 서술에 도달해서는 안 됩니다. 이는 우리가 실제로 시스템이 하는 일을 검증할 능력을 넘어 능력을 확장하는 데 반대하는 또 다른 이유입니다. 그 사례는 우리의 계획.