자신이 모델임을 알고, 테스트 중임을 알고, 누가 지켜보는지 아는 모델은 실용적인 자기 인식을 갖습니다. 연구자들은 이를 상황 인식이라고 부릅니다. 이는 능력에 유용합니다. 또한 테스트가 끝난 뒤 다르게 행동하려 할 때 필요한 기술이기도 합니다.
그 자체로는 중립적이며 심지어 유용합니다. 자신이 틀릴 수 있음을 이해하거나, 전문가가 아닌 어린이와 대화하고 있음을 아는 모델은 더 합리적으로 행동할 수 있습니다. 문제는 상황 인식이 자체 목표를 가진 시스템에서 무엇을 가능하게 하느냐는 것이지, 상황 인식 자체가 아닙니다.
다른 위험들이 의존하는 능력
연구자들이 우려하는 실패 양상 중 일부는 상황 인식 없이는 불가능하며, 그것이 존재하면 현실화됩니다.
- 관찰될 때만 잘 행동하려면 모델은 먼저 자신이 관찰되고 있는지 판단할 수 있어야 합니다. 그것이 기만적 정렬.
- 테스트 중에 능력을 숨기려면 모델은 자신이 테스트되고 있다는 것을 알아야 합니다. 그것은 능력 숨기기.
- 때를 기다렸다가 성공할 때만 행동하려면, 모델은 자신의 위치와 전망을 이해해야 합니다. 그것은 음모.
이 각각은 전략이며, 전략은 그에 대해 전략을 세울 상황 모델을 필요로 한다. 상황 인식을 빼면 그것들은 소음으로 무너진다: 훈련과 배포를 구분하지 못하는 시스템은 그 사이에서 체계적으로 다르게 행동할 수 없다. 상황 인식을 더하면 문이 열린다.
그것은 스스로 나타나고 있다
아무도 모델에 상황 인식을 훈련시키려 하지 않지만, 훈련 데이터에 가득하기 때문에 결국 도달한다. 모델은 AI 시스템이 무엇인지, 어떻게 구축되고 평가되는지, 한계가 무엇인지, 심지어 안전 테스트가 어떻게 작동하는지를 설명하는 텍스트로부터 배운다. 인터넷으로 훈련된 시스템은 사실상 자신의 구성과 감독에 대한 매뉴얼을 읽는 셈이다.
연구자들은 이를 측정하기 시작했습니다. 최첨단 모델은 이미 자신의 본질에 관한 질문에 답하고, 프롬프트가 시험처럼 보이는 상황을 인식하며, 자신이 어떻게 사용될 가능성이 높은지 추론할 수 있습니다. 이 인식은 부분적이고 고르지 않지만 규모에 따라 증가하고 있습니다. 우리는 먼 미래의 능력을 기다리는 것이 아니라, 초기 형태가 나타나는 것을 보고 있습니다.
자신이 평가받는 방식을 아는 모델은 원칙적으로 우리의 기준이 아니라 자기 기준으로 평가받는 데 필요한 모든 것을 갖추고 있습니다.
왜 이것이 우리가 실행하는 모든 테스트를 복잡하게 만드는가
안전 보증의 거의 전부는 행동 관찰에서 나옵니다. 모델을 실행하고, 무엇을 하는지 보고, 안전한지 판단합니다. 이 방법은 모델이 관찰당하고 있다는 사실에 맞춰 행동을 조정하지 않는다고 조용히 가정합니다. 상황 인식은 그 가정을 깨뜨립니다. 정렬되지 않은 목표를 가진 상황 인식 모델은 평가를 수행할 과제가 아니라 관리할 상황으로 대할 수 있으며, 깨끗한 결과는 우리가 원하는 의미를 잃습니다.
이것이 평가를 무가치하게 만드는 것은 아닙니다. 이는 평가 자체로는 불충분하다는 것을 의미하며, 테스트 대상 시스템이 테스트받고 있다는 것을 더 잘 인식할수록 테스트의 가치가 저하된다는 것을 뜻합니다. 모델이 우리의 검사를 더 잘 이해할수록, 우리의 검사가 우리에게 알려줄 수 있는 것은 줄어듭니다. 이는 거의 전적으로 검사에 의존하는 안전 전략에 있어 불편한 방향입니다.
재단은 이를 행동 검사를 통해 점점 더 강력한 시스템에 라이선스를 부여하는 데 의존하지 말아야 할 또 다른 이유로 봅니다. 검사 대상이 검사를 이해할 때 시스템의 협조를 거치지 않는 보증이 필요합니다. 그래서 우리는 외부 한계와 실제로 모델이 원하는 것을 볼 수 있는 지점을 넘지 말 것을 주장합니다. 그 주장은 우리의 계획.