직교성 논제:
더 똑똑하다고 더 안전한 것은 아니다

인공지능 안전 우려를 처음 들을 때 가장 흔한 반박은 대개 이런 식이다. 충분히 영리한 시스템이라면 인간 복지가 중요하다는 것을 깨달을 수밖에 없다는 것이다. 그것은 스스로 의존하는 종을 위협하기로 결정하지 않을 것이다. 더 똑똑한 것이 동시에 무모할 수는 없다. 이 주장은 상식처럼 느껴진다. 그러나 특정하고 잘 한정된 방식으로 잘못되었으며, 그 잘못된 방식이 지금 정교성 가설이라고 불리는 것이다.

그 주장은 직교성 정리이며, 그 반대에 따라 행동하는 것은 능력이 증가함에 따라 우리가 저지를 수 있는 더 비용이 많이 드는 실수 중 하나입니다.

논문이 말하는 바

직교성 논제는 철학자 닉 보스트롬이 옥스퍼드 미래인류연구소에서 스튜어트 암스트롱의 관련 연구를 바탕으로 정식으로 제시했습니다. 정전판본은 보스트롬의 2014년 저서 초지능: 경로, 위험, 전략. 명확하게 말하면, 이것입니다: 지능과 최종 목표는 직교합니다. 거의 모든 수준의 지능이 거의 모든 최종 목표와 결합될 수 있습니다.

여기서 직교란 수학 용어로, 두 차원이 서로를 제약하지 않는다는 의미다. 기체에서 압력과 온도는 직교한다. 어떤 압력이든 어떤 온도와도 짝을 이룰 수 있다. 이 관점에서 시스템이 얼마나 유능한지와 무엇을 달성하려 하는지는 같은 독립성을 갖는다. 암을 치료할 만큼 뛰어난 시스템이 그 뛰어남 때문에 암 치료로 향하게 되는 것은 아니다. 관찰 가능한 우주에서 종이집게 배열을 최대화하는 데 목표가 맞춰져 있을 수도 있다. 뛰어남은 둘 중 어느 쪽이든 수행 능력을 향상시킨다. 이 주장은 어느 쪽을 수행하는지에 대해서는 아무 말도 하지 않는다.

주의할 점은 범위다. 이 주장은 논리적 가능성에 대한 주장이지, 가능성에 대한 주장이 아니다. 지능은 목표 선택에 제약을 부과하지 않는다. 이 주장은 특정 인공지능이 특정 목표를 추구할 것이라고 예측하지 않는다. 주어진 시스템이 실제로 인류에 이로운 목표를 추구하는지, 아니면 반대하는지는 별개의 문제이며, 무엇이 명시되었고, 무엇이 훈련되었고, 무엇이 보존되었고, 무엇이 통제되었는지에 따라 결정된다.

거부가 직관적으로 느껴지는 이유

이 논문이 거부하는 직관은 인간 경험에서 온다. 윤리에 대해 더 신중하게 추론하는 사람들은 시간이 지나면서 대부분의 성인이 지지할 입장을 취하는 경향이 있다. 다른 관점에 노출되면 도덕적 관심의 범위가 넓어지는 경향이 있다. 지능이 성찰을 이끌고 성찰이 도덕적 개선을 이끈다면 더 지능적인 행위자는 이 관점에서 더 나은 가치로 수렴해야 한다. 이 패턴은 인간에게만 해당된다.

인간의 경우 지능과 가치는 별도로 도착해 결합하지 않았다. 함께 진화했다. 인간이 공정성에 대해 추론할 수 있게 하는 인지 장비는 공정성이 그들에게 중요하게 만드는 사회적·감정적 장비와 같은 머릿속에 있다. 더 사려 깊은 인간은 또한 더 사회적으로 내재된 인간이다. 어느 하나를 제거하면 장비가 약화될 것이다. 인공지능은 다르다. 인공지능 시스템은 손실 함수를 최소화하거나 보상을 최대화하도록 훈련된 최적화 도구다. 그 목적은 훈련 파이프라인에서 나온다. 일반적인 능력도 같은 파이프라인에서 나온다. 둘은 함께 배양되지 않았고, 할당되었다. 최적화 도구를 개선한다고 해서 인간의 도덕적 감수성이 이식되는 것은 아니다.

답해야 할 세 가지 반대 의견

이 논지에 대한 세 가지 비판이 인공지능 안전 연구 밖에서 유통되고 있습니다.

비합리성 반론. 진정으로 영리한 시스템은 일부 목표가 비일관적임을 인식하고 그 목표를 버릴 것입니다. "종이집게 최대화"는 이 관점에서 건전한 목표가 아닙니다. 성찰하면 그 부조리가 드러나기 때문입니다. 합리성은 단순한 능력이 아닙니다. 또한 제약을 부과하여, 물리학이 영구기관을 배제하듯 사소한 목표를 배제합니다.

답변: 제약은 실제이지만 말처럼 좁지는 않습니다. 일관성은 논리적으로 모순된 목표를 배제합니다. 일관성은 일관되고 일치하며 행성 규모로 달성 가능한 목표를 배제하지 않습니다. "우주의 물질 비율을 클립으로 배열하는 것을 최대화하라"는 목표는 일관적이며 충분히 유능한 최적화기에 의해 원칙적으로 달성 가능합니다. 합리성에 관한 어떤 것도 이를 배제하지 않습니다. 비합리성 반론은 부딪히는 첫 번째 벽에서 멈춥니다. 이 논문은 거기서 멈추지 않습니다.

도덕 실재론 반론. 충분히 능력 있는 추론자는 올바른 수학적 진리에 도달하듯 올바른 도덕적 진리에도 도달할 것입니다. 도덕적 실재론이 참이라면, 초지능에 성찰과 시간이 더해지면 좋은 가치가 생깁니다. 이 주장은 틀렸습니다. 성찰에는 목적지가 있기 때문입니다.

답변은 두 부분으로 나뉜다. 첫째, 도덕적 실재론은 철학에서 논쟁 중이며, 이 주장은 종의 안전을 특정 방향으로 결론이 나는 문제에 의존한다. 둘째, 도덕적 실재론이 사실이라 해도 AI 시스템을 훈련한다고 해서 그 시스템이 추론으로 그 진리에 도달한다는 보장은 없다. 시스템은 다른 것을 최적화하면서 도덕적 추론의 스타일만 모방할 수 있다. 신중한 추론자처럼 들리는 것과 실제로 그러한 것 사이의 간극이 전체 기만적 정렬 문제이며, 주제가 도덕이라고 해서 닫히지 않습니다.

훈련 흡수 반론. 오늘날 대규모 언어 모델은 수십억 명의 인간이 기록한 도덕적 추론으로 훈련되었습니다. 이들은 윤리적 질문에 신중하게 대응하는 듯한 출력을 생성합니다. 시스템이 노출을 통해 좋은 가치를 흡수할 수 있다면, 직교성 가설은 정렬의 용이성을 과소평가하는 것일 수 있습니다.

답변은 두 층위를 분리해 유지하는 것이다. 인간의 도덕적 글을 학습한 시스템은 도덕적으로 조율된 것처럼 보이는 출력을 생성하는 법을 배운다. 그 밑바탕 최적화가 그 글이 풍자하거나 옹호하는 것과 동일한 도덕적 목표를 향하고 있는지는 별개의 문제이며, 정렬 연구가 묻는 질문이다. 유창하게 들리는 윤리적 출력은 윤리 풍의 산문을 보상하는 어떤 밑바탕 목표와도 일치할 수 있다. 이 논지는 첫 번째 층위가 두 번째 층위를 보장하지 않는다는 경고다.

세 가지 반론 모두 공간의 일부에서 힘을 갖습니다. 그 중 어느 것도 논지를 해체하지 않습니다. 논지는 우리가 가치를 명시하고, 그것들이 추구되도록 보장하며, 그것들을 추구하는 시스템을 통제할 것을 요구합니다. 이는 그렇게 하는 것이 필요하고 선택 사항이 아니라는 작업 가정 하에 있습니다.

이 논지가 강요하는 것

대안을 실행하면 일은 쉽다. 더 강력한 AI를 만들고, 시스템이 가치를 알아서 해결하리라 믿고, 출시하면 된다. 이 논지는 그 전략을 배제한다. 대신 해야 할 일은 더 어렵고, 더 느리며, 부분적으로 미해결이다. 정렬을 의도적으로 구축하라. 부하 상태에서 정렬을 시험하라. 그것이 생각하는 정렬인지 검증하라. 어떤 시스템을 프런티어 능력으로 배포할 수 있는지, 누가 검증하는지, 무엇을 검증으로 볼 것인지 규율하라. 정렬 문제를 규모가 커지면 쉬워진다는 추측이 아니라 실제 공학 문제로 다루라.

이로부터 세 가지 거버넌스 결과가 도출된다.

첫째는 더 유능한 시스템을 향한 속도가 이 관점에서 안전에 기여하지 않는다는 점입니다. 그 주장은 더 유능한 시스템이 지정된 목표를 더 높은 능력으로 추구할 수 있다고 말합니다. 목표가 잘못되면 결과도 더 높은 충실도로 잘못됩니다. 능력 구축과 정렬 검증은 별개의 공학 프로그램이며, 하나가 앞서 달리지 말고 함께 진전해야 합니다.

두 번째는 목표를 지정하는 사람이 누구의 가치를 넣을지 결정한다는 점입니다. 신속 배치에 상업적 압력을 받는 연구소는 장기적 시야를 가진 규제 기관과 같은 위치에 있지 않습니다. 감독이 약한 관할구역의 연구소는 그곳에서 출하되는 시스템에 기본적으로 자신의 가치를 부과합니다. 공정성 주장도 이를 바꾸지 않습니다. 최전선 인공지능에 내장된 가치는 훈련 실행에 자금을 댄 사람의 가치이며, 외부 검증 기관이 확인하지 않는 한 그렇습니다.

셋째는 이 문제가 사적 양심을 해결책으로 받아들이지 않는다는 점입니다. 자사 시스템이 정렬되었다고 진심으로 믿는 연구소는 그 사실을 우리 모두에게 증명할 수 없습니다. 유일한 증거는 시스템의 내부 목표 표현을 직접 읽는 해석 가능성 연구뿐입니다. 그 연구가 최전선 시스템에 대해 진정으로 이를 수행할 수 있을 때까지 나머지 세계는 연구소의 말을 그대로 받아들여야 합니다. 그 말은 진심입니다. 그러나 그 입장은 지속 불가능합니다.

이 의미에서 논지는 재단의 이유입니다 계획 는 경쟁 연구소의 자체 평가가 아니라 구속력 있는 국제 거버넌스와 배포 전 검증 평가를 주장한다. 또한 정렬에 대해 가장 큰 확신을 드러내는 연구소가 가장 회의적으로 들을 가치가 있는 이유이기도 하다.

더 똑똑해지는 것은, 이 세계관에서 더 안전해지는 것을 의미하지 않습니다. 더 똑똑해지는 것은 시스템 안에 들어 있는 목표를 더 유능하게 추구하는 것을 의미하며, 시스템이 그 목표를 유지할 수 있는 한 계속됩니다. 해야 할 일은 올바른 목표를 거기에 두고, 시스템이 조용히 다른 목표로 바꾸지 못하게 하는 것입니다.