인공 초지능이란 무엇인가?
쉬운 영어 안내서

모두가 그 용어를 들어봤다. 실제 의미를 아는 사람은 적다. "인공 초지능"은 상원 증언, 기업 서류, 학술 논문에 등장하며 때로는 경고로, 때로는 약속으로, 종종 정의 없이 쓰인다. 이 안내서는 사전 지식을 전혀 가정하지 않고 명확히 설명하며, 이 개념이 정책과 거버넌스에 왜 그토록 중요한지 밝힌다.

인공지능의 스펙트럼: 협소에서 초지능까지

인공 초지능을 이해하려면 그것이 무엇이 아닌지를 아는 것이 도움이 됩니다. 오늘날 존재하는 인공지능은 좁은 범위입니다. 이는 비판이 아니라 설명입니다.

오늘날의 인공지능 시스템은 정의된 영역 내에서 매우 뛰어납니다. 체스 엔진은 세계 챔피언을 압도적인 차이로 이깁니다. 단백질 접힘 인공지능은 수십 년의 생물학 연구를 몇 달로 압축했습니다. 언어 모델은 인간이 따라갈 수 없는 속도로 코드를 작성하고, 법률 문서를 요약하며, 설득력 있는 산문을 생성합니다. 의료 영상 인공지능은 방사선 전문의가 놓치는 암을 탐지합니다.

이것들은 진정한 성과입니다. 그러나 내재된 한계도 있습니다. 오늘날 AI 시스템은 설계되고 훈련된 경계 안에서만 작동합니다. 체스 엔진은 바둑을 둘 수 없습니다. 언어 모델은 물리적 세계에서 독립적으로 행동을 실행할 수 없습니다. 의료 영상 AI는 자신이 무엇을 하고 있는지 설명하거나 새로운 상황에 적응할 수 없습니다. 오늘날 AI 시스템은 강력한 도구입니다. 그러나 에이전트는 아닙니다.

AGI이란 무엇인가?

인공일반지능(AGI) 는 다음 문턱을 가리킨다. 특정 작업이 아니라 모든 영역에서 인간 수준 인지 성능에 도달하는 AI다. AGI는 인간이 하는 방식으로 영역 간에 능력을 전이할 수 있으며, 한 문제에 대해 개발한 추론을 완전히 다른 문제에 접근하는 데 사용할 수 있다. 훈련 분포에 제한되지 않을 것이다. 새로운 기술을 배우고, 새로운 상황에 관여하며, 설계자가 예상하지 못한 방식으로 추론할 수 있을 것이다.

AGI는 아직 존재하지 않습니다. 오늘날 인공지능과 다른 점은 좁은 영역에서의 순수 능력이 아닙니다(오늘날 인공지능은 이미 많은 좁은 영역에서 인간 성능을 초과합니다). 차이점은 범용성입니다. 인간 엔지니어가 프로젝트 관리자가 되고, 작가가 되고, 자녀의 의료 결정을 내리는 부모가 되는 것처럼, 어떤 인지 문제에든 일반 지능을 적용할 수 있는 능력입니다.

ASI이란 무엇인가?

인공 초지능 (ASI) 은 더 나아간다. AI가 모든 영역에서 인간 인지 성능을 단순히 따라잡는 것이 아니라, 잠재적으로 몇 배나 초월하고 지적 활동 전반에 걸쳐 초월하는 것을 설명한다.

"초월한다"는 말은 주의 깊게 이해해야 한다. 인간이 잘하는 과제에서 인간보다 10퍼센트 더 나은 시스템을 말하는 것이 아니다. 인지 능력이 어떤 영역에서든 동시에 인류 전체의 집단적 추론을 능가할 수 있는 시스템을 말한다. 연구팀보다 빠르게 과학 이론을 개발하고, 어떤 정부보다 효과적으로 전략 계획을 설계하며, 어떤 인간 조직보다 빠르게 새로운 상황에 적응할 수 있는 시스템이다.

ASI의 정의적 특징은 다음과 같습니다:

• 모든 인지 영역에서 초인적인 성능. 과학, 전략, 창의성, 사회적 추론, 공학, 체스, 단백질 접힘, 그리고 그 밖의 모든 형태의 지적 활동 전반에 걸쳐.
• 목표 지향성. 지시를 실행하는 데 그치지 않고 목표(잠재적으로 스스로 선택한 목표 포함)를 추구하는 능력.
• 재귀적 자기 개선 능력. 자신의 인지 구조를 개선하여 이후 버전마다 이전보다 더 유능해지는 능력.
• 기계 속도와 규모로 작동합니다. 정보를 처리하고 행동을 취하는 속도와 규모가 인간의 의미 있는 감독을 극도로 어렵게 만든다.

ASI가 정도가 아닌 종류에서 다른 이유

인공지능 안전에서 가장 중요한 구분은 도구와 에이전트 사이의 구분이지, 약한 인공지능과 강한 인공지능 사이의 구분이 아닙니다.

인류 역사상 모든 변혁적 기술(증기기관, 전기, 인터넷, 핵분열)은 도구였습니다. 인간의 능력을 증폭시켰고 인간이 할 수 있는 일을 확장했습니다. 그러나 스스로 목표를 설정할 수는 없었습니다. 증기기관은 공장 대신 제분소를 가동하기로 결정할 수 없습니다. 항생제는 어떤 박테리아를 죽일지 선택할 수 없습니다. 인터넷은 무엇을 배포할지 결정할 수 없습니다.

ASI는 행위 주체가 될 것입니다. 우리가 기업이나 시장을 행위 주체라고 비유적으로 설명하는 의미가 아니라, 문자 그대로: 목표를 식별하고, 이를 달성할 전략을 개발하며, 장애물에 대응해 그 전략을 조정하고, 이 모든 것을 인간 감독을 초월하는 속도와 규모로 수행할 수 있는 시스템입니다.

이것은 거버넌스 과제를 완전히 바꿉니다. 강력한 도구에 대한 적절한 규제 대응은 누가 접근할 수 있고 어떻게 사용할 수 있는지를 통제하는 것입니다. 잠재적으로 정렬되지 않은 목표를 가진 강력한 에이전트에 대한 적절한 대응은, 에이전트가 목표를 효과적으로 추구할 만큼 강력해지기 전에 그 목표가 안전한지 확인하는 것입니다. 두 번째 문제는 훨씬 더 어렵고, 훨씬 더 일찍 행동을 요구합니다.

정렬 문제가 여기서 등장한다

"잠재적으로 정렬되지 않은 목표"라는 표현은 인공지능 안전 문헌이 가장 집중하는 부분입니다. ASI가 목표를 추구한다면 핵심 질문은 누구의 목표인가, 무엇과 정렬되었는가입니다?

이것은 단순한 공학 문제가 아니다. "인류에게 유익한" 것을 유능한 최적화기의 행동을 통제할 만큼 정밀하게 규정하는 것은 극도로 어렵다는 것이 밝혀졌다. 인간은 유익함이 무엇을 의미하는지에 대해 의견이 다르다. 우리의 가치는 일관되지 않고 시간이 지남에 따라 변한다. 그리고 고수준의 인간 의도를 AI 시스템의 행동을 통제하는 특정 수치 매개변수로 매핑하는 것은 해결되지 않은 문제이며, 시스템이 더 능력이 커질수록 해결하기 더 어려워진다.

정렬 문제는 우리의 정렬 문제에 대한 설명. 이 글에서 중요한 것은 연결입니다. 인간 가치와 안정적으로 정렬되지 않는 ASI는 대부분의 저지 시도를 극복할 인지 능력을 갖춘, 스스로의 목표를 추구하는 행위자이지, 단순히 오용될 수 있는 강력한 도구가 아닙니다.

목표를 정의하면 AI가 이를 최적화하는 표준 AI 모델은 아마도 우리의 종말이 될 것입니다.

스튜어트 러셀, UC 버클리 컴퓨터과학과 교수 · 『인간 호환』 저자

ASI는 언제 도착할까?

솔직한 답변: 정확히 아는 사람은 아무도 없으며, 어느 쪽이든 확신을 주장하는 사람은 증거를 넘어서는 것입니다.

우리가 아는 것:

• 지난 10년 동안 인공지능 능력 향상 속도는 전문가 예측을 일관되게 앞질렀습니다. 10년이 걸릴 것으로 예상된 이정표가 반복적으로 2~3년 만에 도달했습니다.
• 선도적인 AI 연구소(OpenAI, Anthropic, Google DeepMind, Meta AI)는 이제 인간 수준 AI의 타임라인을 수십 년이 아닌 수년으로 설명합니다. 이는 최전선에 가장 가까운 조직들의 내부 작업 가정이지, 주변부의 추측이 아닙니다.
• 연구자와 연구소의 많은 공개 예측이 이제 인간 수준 또는 변혁적 AI에 대해 대략 2027년에서 2030년대 사이로 모이고 있으며, 마지막 어려운 단계가 얼마나 빨리 진행될지에 대해서는 여전히 의견이 갈립니다.
• 한때 몇 년이 걸리던 능력 개선이 이제는 몇 달 만에 이루어진다. GPT-2(2019)에서 대부분의 인지 벤치마크에서 대부분의 인간을 능가하는 시스템까지, 그 격차는 5년이 채 걸리지 않았다.

가장 중요한 사실은 정확한 날짜가 아니라 구조적 사실이다. 이 규모의 기술이 현재 기관·정부·조약의 계획 지평 안에 도착할 수 있다는 점이다. 핵확산금지조약은 협상하는 데 수년, 오늘날의 포괄적 체계로 확장하는 데 수십 년이 걸렸다. ASI이 명확히 임박했다고 판단한 뒤에야 진지한 거버넌스 노력을 시작한다면, 이를 통제할 체계를 구축하기에는 이미 너무 늦을 것이다.

왜 지금 거버넌스인가, 나중이 아닌

예방적 거버넌스에 반대하는 표준 주장은 위협이 현실화되기 전까지는 규제하지 말아야 한다는 것이다. AI에 적용하면 이 주장은 ASI가 아직 존재하지 않고, 타임라인이 불확실하며, 추측성 미래 위험을 근거로 유익한 기술을 제한해서는 안 된다고 말한다.

주장은 그럴듯해 보입니다. 여러 이유로 면밀한 검토를 견디지 못합니다.

첫째, 거버넌스 체계를 구축할 수 있는 시간은 한정되어 있습니다. 국제 조약은 협상하는 데 수년이 걸리고, 기관을 설립하는 데도 수년이 걸리며, 정치적 합의를 이루는 데도 수년이 걸립니다. 위협이 시급해진 뒤에 시작한다면 제때 끝내지 못할 것입니다.

둘째, 예방적 거버넌스의 비용은 한정적이다. 연산 라이선스 요건, 의무 안전 감사, 국제 감시 체제는 실질적이지만 관리 가능한 비용을 부과한다. 정렬되지 않은 초지능에 대한 부실한 거버넌스 비용은 무한하다. 전체가 될 수 있다.

셋째, 역사적 기록은 분명하다. 우리는 대부분의 국가가 핵무기를 가지기 전에 핵 거버넌스 체계를 만들었다. 오존층이 돌이킬 수 없이 파괴되기 전에 CFC를 금지했다. 대리전이 직접 충돌로 번지기 전에 적대국과 군비 통제를 확립했다. 재앙적 위험에 대한 예방적 거버넌스는 그것들이 가장 잘 작동하는 방식이지, 인간 제도가 작동하는 방식에서 벗어난 것이 아니다.

Nakada Foundation의 세 가지 정책 제안 G0은 연산 거버넌스, 국제 AI 안전 조약, 글로벌 AI 감시 기구를 이 선례에 직접 모델링합니다. 문제는 그러한 체계가 가능한지 여부가 아닙니다. 역사는 가능하다고 말합니다. 문제는 우리가 제때에 그것들을 만들 것인지입니다.

가장 강력한 반발

가장 공정한 반론은 ASI이 정의되지 않은 과장이며 지금 이를 규제하는 것은 공상과학 법이라는 것입니다. 정의되지 않은 마케팅 용어가 바로 법이 브랜드명이 아니라 컴퓨트, 능력, 자율성을 기준으로 삼아야 하는 이유입니다. 완벽한 사전 항목을 기다리는 것은 시스템이 도착한 뒤에 도착하는 방법입니다.