1965년, 영국의 수학자 I.J. Good (블레츨리 파크에서 앨런 튜링과 함께 일한 암호 해독가)는 인공지능에 대한 60년간의 사고를 형성한 단 한 문단을 썼습니다.全文을 인용할 가치가 있습니다.
초지능 기계를 어떤 인간보다도 뛰어난 지적 활동을 모두 훨씬 능가할 수 있는 기계로 정의합시다. 기계 설계도 그런 지적 활동 중 하나이므로 초지능 기계는 더 나은 기계를 설계할 수 있을 것입니다. 그러면 의심할 여지 없이 ‘지능 폭발’이 일어나 인간의 지능은 훨씬 뒤처질 것입니다. 따라서 최초의 초지능 기계는 인간이 만들 필요가 있는 마지막 발명품이 될 것입니다.
어빙 존 굿, "최초의 초지능 기계에 관한 추측", 1965
굿은 대부분의 AI 논의가 여전히 놓치는 점을 지적했습니다. 위험은 지능형 기계의 설계가 그 자체 인지 작업이며, 따라서 인지 작업에 능한 기계는 더 나은 기계를 만드는 데도 능하다. 기계가 우리보다 똑똑해질 수 있다는 것뿐 아니라, 그것이 피드백 고리라는 점이다. 그리고 출력이 입력으로 돌아가는 피드백 고리는 직선으로 움직이지 않는다. 가속한다.
재귀적 자기 개선이 실제로 의미하는 것
지능 폭발의 엔진은 재귀적 자기 개선. AI는 코드를 다시 쓰거나, 훈련 과정을 다듬거나, 아키텍처를 재설계하거나, 더 나은 추론 전략을 발견하는 방식으로 자신의 능력을 향상시킨 다음, 이제 더 커진 능력을 다시 자신을 개선하는 데 적용한다.
여기서 부담을 지는 단어는 재귀적인. 일반적인 기술 진보는 개선입니다: 올해 모델이 작년 모델보다 낫습니다. 재귀적 자기 개선은 개선할 수 있는 능력. 각 반복은 더 높은 능력 수준에서 시작할 뿐 아니라 더 유능한 개선자에서 시작합니다. 진보 속도는 고정되어 있지 않습니다. 속도 자체가 빨라집니다.
대략적인 비유는 복리이지만, 그것조차도 과소평가합니다. 복리에서는 성장률이 일정하고 밑금만 커집니다. 여기서는 성장률 자체도 복리로 증가합니다. 자기 개선에서 매 주기마다 10% 더 나아지고, 더 유능해졌기 때문에 다음 주기를 더 빠르게 실행하는 시스템은 점진적 단계에서 폭발적 단계로 매우 빠르게 이동할 수 있습니다.
느린 도약 대 빠른 도약
이곳이 진짜 중요한 논쟁이 벌어지는 지점이다. 분야의 모든 전문가는 재귀적 자기개선이 원칙적으로 가능하다는 데 동의한다. 그들이 의견을 달리하는 부분은 이륙 속도, 인간 수준 인공지능에서 급진적으로 초인간적인 인공지능으로의 전환이 얼마나 걸릴지. 그 답이 거버넌스 가능 여부를 결정합니다.
느린 도약
느린 도달 시나리오에서는 전환이 수년에 걸쳐 펼쳐집니다. 능력이 꾸준하고 눈에 띄게 향상됩니다. 경고 신호, 중간 시스템, 시장·규제 기관·대중이 대응할 시간이 있습니다. 실수는 시장·규제 기관·대중이 주목하고 수정할 기회가 있기 때문에 생존 가능합니다. 이 세계에서는 거버넌스의 일상적 기계(청문회, 입법, 조약, 반복 규제)가 보조를 맞출 기회가 있습니다.
빠른 도약
빠른 도약 시나리오에서 전환은 수개월, 수주, 어쩌면 수일 만에 일어난다. AI가 frontier AI 연구의 대부분을 스스로 수행할 수 있게 되면, 더 이상 인간의 시간표에 얽매이지 않는다. 수면도 필요 없고, 조율 오버헤드도 없으며, 수천 개의 복제본이 기계 속도로 병렬 작업한다. 시스템은 인간과 견줄 만한 범위를 너무 빠르게 통과해, 무슨 일이 일어나고 있는지 누구든 인식할 때쯤에는 세계에서 가장 능력 있는 시스템이 이미 인간 감독을 벗어나 있을 수 있다. 이 세계에서는 정상회의를 소집할 시간이 없다. 중요했던 결정은 이미 전에 루프가 시작되었다.
최근 널리 논의된 인공지능 타임라인 연구소 내부와 예측 커뮤니티의 예측은 점점 더 정확히 이 구조를 묘사한다. AI 시스템이 AI 연구를 자동화하는 기간이 이어진 뒤 급격한 가속이 일어나는 구조다. 그 가속이 2년이 걸릴지 2개월이 걸릴지가 조 단위 불확실성이다.
속도가 거버넌스 문제이지 기술 문제에 그치지 않는 이유
인류가 의존하는 거의 모든 안전 조치는 시간을 가정합니다. 리콜은 결함을 식별하고 제품을 회수할 수 있다고 가정합니다. 군비 통제는 대략적으로 균형 잡힌 강대국 간의 협상을 가정합니다. 규제는 관찰, 입법, 조정의 반복 루프를 가정합니다. 빠른 지능 폭발은 관찰과 대응이 일어나는 간격을 붕괴시키기 때문에 이 모든 것을 깨뜨립니다.
빠른 도약이 기존 안심 논리에 어떤 영향을 미치는지 생각해 보십시오:
- "그냥 끄면 됩니다." 기계 속도로 개선되는 시스템은 그에 대한 동기와, 그럴 가능성이 있는 수단을 모두 가지고 있습니다 수정 가능성 문제. 그리고 아직 선을 넘었다고 깨닫지 못한 것은 끌 수 없습니다.
- "분명히 위험해지면 규제할 거야." 위험성이 명확해질 때쯤이면 행동할 기회는 이미 닫혀 있다. 조약은 수년이 걸리지만 급속한 도약은 몇 주 만에 일어난다.
- "시장이 바로잡을 것이다." 시장은 실패 후에 교정된다. 정렬되지 않은 초지능은 교정할 기회조차 없는 실패다.
이것이 또한 지능 폭발이 경쟁 역학 이미 개발자를 속도 우선으로 몰아가는 인센티브가 있습니다. 만약 이륙이 빠를 수 있다면, 먼저 고리를 작동시키는 쪽이 결정적이고 영구적인 우위를 차지할 수 있으며, 이는 일방적이고 안전하지 않은 경쟁을 더욱 부추기는 인센티브입니다. 경쟁사가 늦추지 않는다면 어떤 단일 기업도 속도를 늦출 수 없습니다. 이는 조정 실패이며, 조정 실패는 선의가 아니라 구속력 있는 체계로 해결됩니다.
반론: 어쩌면 평평해질지도 모른다
일부 연구자들은 자기 개선이 수확 체감에 부딪힐 것이라고 주장합니다. 지능은 남은 문제의 데이터, 물리학, 난이도 같은 단단한 한계에 부딪혀 곡선을 느리고 관리 가능한 상승으로 평탄화시킨다는 것입니다.
하지만 내기의 구조를 주목하라. 회의론자들이 맞아서 이륙이 느리다면, 조기에 거버넌스 체계를 구축하는 것은 효율성과 시간을 약간 희생하는 셈이다. 회의론자들이 틀려서 이륙이 빠르다면 아니다 이러한 틀을 일찍 구축하는 것은 인류 역사상 가장 중대한 사건을 조종할 능력을 잃게 만든다. 빠른 이륙을 대비했다가 실제로 느린 경우의 단점은 한정적이다. 느린 이륙을 가정했다가 실제로 빠른 경우의 단점은 그렇지 않다. 그 비대칭성 아래에서 합리적인 선택은 더 빠른 시나리오에 대비하는 것이며, 이는 우리가 P(doom).
이것이 계획에 의미하는 바
지능 폭발이 바로 Nakada Foundation이 행동을 촉구하는 이유입니다 전에 초지능이 존재한 뒤가 아니라 존재하기 전에 대비해야 한다. 이륙이 빠를 수 있다면 거버넌스 체계는, 연산 통제, 국제 감시 기구, 그리고 최전선 개발을 중단시키는 구속력 있는 조약은 그것들이 제정될 수 있는 간격이 남아 있을 때 구축되어야 한다. 충돌 중에 브레이크를 설치할 수는 없다. 우리의 계획 는 ‘강력’과 ‘통제 불능’ 사이의 기간이 매우 짧을 수 있고, 인간이 여전히 결정을 내리는 지금이 유일하게 신뢰할 수 있는 행동 시점이라는 세계를 위해 설계됐다.