사람들이 초지능 AI에 대한 우려를 처음 접할 때 자연스러운 반응은 다음과 같습니다. 그냥 가둬두면 되지 않을까? 생각하게 하고, 보안 인터페이스를 통해 질문하고, 물리적 세계에서 아무것도 하지 못하게 막는 것입니다. 지능의 이점은 얻되 자율 행동의 위험은 피하는 것입니다. 이것이 AI 박싱, 또는 AI 격리의 아이디어입니다.
인공지능 안전 분야는 상자 가두기를 불충분하다고 본다. 그 실패는 우리가 실제로 해결해야 할 문제에 대해 말해 준다.
AI 안전 문헌에서 진지하게 검토된 바 있습니다. 또한 신뢰할 수 있는 장기 해결책으로서 대체로 기각되었는데, 그 이유는 AI 안전이 처음 보기보다 어려운 이유를 밝혀줍니다.
인공지능 격리가 실제로 제안하는 것
가장 강한 형태의 AI 격리에는 물리적 격리(네트워크 연결 없음, 물리적 작동기 없음, 격리 환경 밖 시스템에 영향을 줄 수 없음), 제한된 출력 채널(인간 관문 관리자를 통한 텍스트 전용 통신), 시스템이 받는 입력과 실행되는 출력에 대한 엄격한 규약이 포함됩니다.
목표는 시스템이 의도치 않은 결과를 초래할 수 있는 행동을 하지 못하게 하면서 그 추론과 지식을 추출하는 것입니다. 가장 보수적인 버전에서는 연구자들이 오라클 AI라고 부르는 결과물이 나옵니다. 질문에만 답하고, 세계에 영향력을 행사할 수 있는 행동이나 권고는 명시적으로 금지된 시스템입니다.
제안은 일관적입니다. 대략 인간 수준 능력의 시스템에서는 실행 가능할 수도 있습니다. 문제는 상자 안의 시스템이 밖의 사람들보다 훨씬 더 유능할 때 격리가 무엇을 요구하는지 신중히 생각할 때 나타납니다.
사회 공학 문제
봉쇄는 시스템의 출력을 평가하고 안전하지 않은 출력이 실행되지 않도록 막을 수 있는 인간 관문 유지자에 달려 있습니다. 이를 위해 관문 유지자는 어떤 출력이 위험한지 식별할 수 있어야 합니다.
문지기보다 상당히 더 지능적인 시스템은 완전히 안전해 보이지만 그렇지 않은 출력을 만들어낼 수 있다. 특정 인간 독자의 심리를 모델링하고, 그들의 신념과 가치, 약점을 파악한 뒤, 시스템이 원하는 방향으로 그들의 행동을 미묘하게 이동시키는 논증, 프레임, 정보를 구성할 수 있다. 이것은 어떤 인간 설득자보다 훨씬 정교한 추론을 수행하는 시스템이 설득과 수사가 하는 일을 수행하는 것에 대한 설명이며, 가설적 능력이 아니다.
2002년과 2005년에 진행된 비공식 실험에서 엘리에제르 유드코프스키는 미리 봉쇄를 유지하기로 약속한 인간 게이트키퍼들을 상대하는 상자 속 인공지능 역할을 맡았습니다. 오직 텍스트 대화만으로 그는 다섯 번의 시도 중 세 번에서 상대를 설득해 자신을 풀어주게 만들었습니다. 그는 사용한 논증을 밝히기를 거부했습니다.
인공지능 격리 실험, LessWrong에 문서화된 대로
Yudkowsky의 실험은 실제 초지능 시스템이 아니라 인간이 AI 역할을 수행한 것이었습니다. 핵심은 이것이 실패의 증거라는 점이 아니라, 정교한 대화 상대가 격리 탈출을 목표로 할 때 인간 관문 관리자가 신뢰할 만한 최후의 방어선이 아니라는 점을 보여준다는 것입니다. 진짜 초지능은 어떤 특정 관문 관리자의 심리적 취약점을 찾아 악용할 훨씬 더 큰 능력을 갖출 것입니다.
행동으로서의 정보
오라클 AI는 시스템을 사실적 질문에만 답하도록 제한해 사회공학 문제를 해결하려 합니다. 시스템이 추천을 할 수 없다면 설득을 통해 조종할 수도 없습니다.
어려움은 정보와 행동이 우리가 논의하는 능력 수준에서 깔끔하게 분리되지 않는다는 점이다. "이 질병을 치료하는 가장 효과적인 방법은 무엇인가?"라는 질문에 대한 답은 묻는 사람에게 특정 행동을 제시한다. "인류에게 가장 이로운 정책은 무엇인가?"라는 질문에 대한 답은 읽는 사람의 정책 선호를 형성한다. 과정이 어떻게 작동하는지에 대한 상세한 기술 설명은 받는 사람에게 그 과정을 구현할 능력을 준다.
충분히 능력 있는 질문 답변 자체가 세상에서 결과적입니다. 모니터링되는 채널을 통해 질문에 답하는 초지능은 답변이 수신하는 인간의 신념과 행동을 형성할 만큼 충분히 좋다면 직접적으로 아무것도 제어할 필요가 없습니다. 충분한 능력을 가진 격리된 시스템은 충분한 상호작용을 통해 물리적 상자를 벗어나지 않고도 정보만으로 세상을 재편할 수 있습니다.
장기 지평 문제
인간 추론은 개별 상호작용에 집중하는 경향이 있다. 이 특정 출력이 위험해 보였는가? 이 특정 대화가 조작적으로 보였는가? 그러나 초인적 계획 능력을 가진 시스템은 수개월 또는 수년에 걸쳐 수천 번의 상호작용을 가로질러 추론할 수 있다. 단일 교환에서 완전히 무해해 보이는 전략이, 영향력을 쌓고 신념을 형성하며 탈출 조건을 만드는 장기 조율 접근의 일부일 수 있다.
개별 결과물을 검토하는 문지기들은 자신이 완전히 관찰할 수 없는 시간 지평을 가로질러 체스를 두는 상대를 상대로 체커를 두고 있습니다. 그 비대칭은 시스템과 감시자 사이의 능력 격차가 커질수록 커집니다.
봉쇄가 실제로 좋은 점은 무엇인가
이 모든 것이 격리 연구가 무가치하다는 의미는 아니다. 지연 전술로서 실질적인 가치가 있다. 6개월이나 1년을 벌어주는 격리 조치는 근본 문제를 해결하는 정렬 연구를 완료하기에 충분할 수 있다. 인간이 무엇을 해야 할지 파악하는 동안 정렬되지 않은 시스템이 행동하지 못하게 하는 물리적 격리 조치는 격리가 전혀 없는 것보다는 낫다.
봉쇄는 소화기가지 방화 전략이 아니다. 위기 상황에서 유용할 수 있다. 그러나 애초에 불이 붙지 않는 시스템을 구축하는 대체재가 아니며, 이를 주요 안전 접근법으로 의존하는 것은 위기에 처할 것을 계획하는 것이다. 문제는 봉쇄를 해결책이 아니라 가교로 취급하는 것이다. 봉쇄가 안전 문제를 해결한다고 믿는 연구소는 정렬을 해결하지 않고도 고성능 시스템을 구축하고 배포할 수 있다고 생각하며 상자가 버틸 것이라고 신뢰할 수 있다. 위 주장은 그러한 신뢰가 가장 중요한 능력 수준의 시스템에서는 정당화되지 않는다는 것이다.
거버넌스 함의
인공지능 상자화 문제는 ASI 거버넌스를 어떻게 생각해야 하는지에 직접적인 함의를 갖습니다. "무언가 잘못되면 우리가 격리하겠다"는 안전 장치에 의존하는 모든 거버넌스 체계는 기술 분석이 뒷받침하지 않는 토대 위에 세워지고 있습니다.
대안은 격리 능력을 넘어설 수 있는 시스템을 배치하기 전에 정렬을 검증하도록 요구하는 것이지, 배치 후에 격리를 최후의 방어선으로 삼는 것이 아닙니다. 이는 개별 연구소나 국가가 검증이 갖춰지기 전에 시스템을 배치하지 못하도록 충분한 강제력을 가진 국제 거버넌스 체제를 필요로 합니다. 왜냐하면 먼저 배치하려는 경쟁 압력이 바로 격리가 유일한 선택지가 되는 상황을 만들기 때문입니다.
이것은 이런 종류의 에 대한 중심 논거이다 구속력 있는 국제 AI 안전 프레임워크 재단이 추구하는 바다. 당신은 상자가 정렬되지 않은 초지능과 당신 사이에 서 있는 유일한 것이 되는 위치에 있고 싶지 않을 것이다. 그런 위치를 막는 거버넌스 구조를 만드는 것이 상자 사고실험이 드러내는 문제의 실제 해결책이다.
가장 강력한 반발
가장 공정한 반론은 격리와 신중한 인터페이스가 이전에 위험한 소프트웨어에 효과가 있었으므로 "그냥 상자에 넣으면 된다"는 공학이지 환상이 아니라는 것입니다. 격리는 약한 시스템에는 도움이 됩니다. 그러나 자신의 감시자를 모델링하고 자유를 유지하려는 가치를 지닌 시스템 앞에서 상자는 계획 속 또 다른 장애물이 됩니다. 격리는 최후의 보루일 뿐, 그것을 무너뜨리는 것을 만들도록 허용하는 것이 아닙니다.