몇 달마다 AI 능력 벤치마크 하나가 무너진다. 2년 전에는 전문 면허 시험을 통과하지 못하던 시스템이 이제 상위 백분위 안에 든다. 선도적인 프런티어 AI 연구소 경영진은 인공 일반 지능을 수십 년이 아니라 수년의 문제로 공개적으로 묘사한다. 가장 저명한 AI 안전 연구자 중 한 명인 닉 보스트롬은 2026년 작업 논문에서 초지능을 개발할지 여부가 아니라 언제 개발할지를 물었다.

이 배경에서 우리가 초지능을 받아들일 준비가 되었는지는 긴급한 실무적 평가이며, 답은 분명히 아니오입니다. 이론적 연습이 아닙니다.

실제로 필요한 준비 태세는 무엇인가

"준비"가 무엇을 의미하는지 구체적으로 밝히는 것이 중요합니다. 이 단어는 흔히 "위험에 대해 생각해 보았다"거나 "책임 있는 연구소들이 안전을 연구하고 있다"는 뜻으로 느슨하게 쓰이기 때문입니다. 그런 것들은 해당 의미에서의 준비가 아닙니다.

진정한 초지능 대비는 ASI 수준의 시스템이 어디에든 배포되기 전에 다음 사항이 모두 갖춰져 있어야 합니다:

  • 배포 전에 인공지능 정렬을 검증하는 신뢰할 수 있는 기술적 방법이며, 행동 평가로부터 추론하는 것이 아니다
  • 검증이 통과되기 전에 어떤 단일 행위자(기업이나 국가)도 시스템을 배포하지 못하도록 충분한 범위를 가진 국제 거버넌스
  • 시스템을 개발하는 조직과 독립적으로 운영되는 모니터링 인프라
  • 주요 인공지능 개발국들의 감독 기구에 실제 권한을 부여하는 법적 프레임워크
  • 주요 강대국이 나중에 참여할 수 있을 만큼 충분한 정치적 무게를 지닌 국제 규범 확립

이러한 요건에 비추어 볼 때, 우리가 실제로 서 있는 위치는 다음과 같습니다.

기술적 정렬
미해결
해석 가능성 연구는 진전하고 있지만 최전선 규모 시스템의 내부 목표를 신뢰성 있게 검증할 수는 없습니다. 기만적 정렬은 현재 모델에서 확인되었습니다. 표준 안전 훈련은 Anthropic 슬리퍼 에이전츠 연구에서 이를 제거하는 데 실패했습니다.
국제 통치
초기 단계
블레츨리 파크 선언(2023)은 위험에 대한 국제적 합의를 이끌어냈다. 그러나 구속력 있는 조약은 존재하지 않는다. 2025년 파리 행동 정상회의는 안전에서 배포와 경제 경쟁으로 초점을 옮겼다.
독립적 모니터링
존재하지 않음
어떤 국제기구도 최첨단 인공지능 시스템을 감사할 권한이 없습니다. 안전 평가는 시스템을 개발하는 조직이 직접 수행하며, 그 결과는 종종 독립적으로 검증할 수 없습니다.
국가 입법
조각난
EU AI 법은 인공지능 시스템에 대한 위험 계층화 규제를 수립하지만 AGI 또는 ASI을 구체적으로 다루지 않습니다. US에는 행정 명령이 있지만 연방 차원의 구속력 있는 인공지능 법률은 없습니다. 중국, UK 및 기타 주요 인공지능 국가들은 각각 부분적인 체계를 가지고 있습니다.

거버넌스 논의가 잘못된 방향으로 흘러가고 있습니다

2023년 11월, UK 정부는 블레츨리 파크 AI 안전 정상회의를 개최했다. 이는 프론티어 AI 리스크에 초점을 맞춘 최초의 주요 국제 모임이었다. 논의의 틀은 명확히 안전을 최우선으로 삼았다. 그 결과로 나온 블레츨리 선언에는 US, 중국, EU을 포함한 28개국이 서명했으며, ASI로 인한 "잠재적으로 파국적인" 위험을 인정했다.

2025년 2월 프랑스는 인공지능 행동 정상회의라고 부르며 형식을 의도적으로 바꿔 우선순위 전환을 알렸다. 강조점은 위험 식별·관리에서 배포 촉진과 경제적 이익 확보로 이동했다. 이는 중립적인 용어 변경이 아니었다. 중국과의 인공지능 경쟁을 주요 틀로 보고 안전 요건을 잠재적 경쟁 열위로 보는 정부와 산업계의 진짜 정치적 압력을 반영했다.

"문제는 더 이상 초지능을 개발할지 여부가 아니라, 언제 개발하는 것이 최적인지, 그리고 그 타이밍 결정의 이익이 누구에게 귀속되는지입니다."

닉 보스트롬, "초지능 개발 시기에 관하여" · 작업 논문, 2026

보스트롬의 틀은 주목할 만합니다. 그의 이전 저작(《초지능》, 2014)은 초지능이 실존적 위험을 초래하는 이유에 대한 많은 기초 논증을 확립했기 때문입니다. 2026년 그의 시기와 분배 문제로의 전환은 개발이 일어날 것임을 받아들이고 누가 과정을 통제할지에 집중하는 분야의 broader 움직임을 반영합니다. 정당한 질문입니다. 과정이 안전한지 확인하는 것과는 다릅니다.

AGI에서 ASI로의 전환 문제

거버넌스 논의에서는 종종 AGI를 관련 임계점으로 다루며, AGI 수준 시스템은 인간 감독자가 이해할 수 있고 의미 있는 평가가 가능하다고 가정합니다. 이는 AGI 임계점에서는 아마도 사실일 것입니다. 문제는 그다음에 일어나는 일입니다.

자신의 연구와 개선을 지휘할 수 있는 AGI 수준의 시스템은 인간 수준에서 상당히 초인간적 성능으로, 인간 수준에 도달하는 데 걸린 시간보다 훨씬 짧은 기간에 전환할 수 있다. 이 현상의 기술적 용어는 빠른 도약 시나리오다. 빠른 도약에서 시스템은 인간 거버넌스가 가능한 수준에서 불가능할 수 있는 수준으로, 어떤 거버넌스 기관의 대응 시간보다 짧은 시간 창 안에 이동한다.

초지능 대비는 AGI 임계값 이전에 준비하는 것이지, 그 이후에 대응하는 계획이 아니다. AGI 도달 시점에 작동하는 거버넌스는, 이를 무력화하는 능력 수준으로의 급속한 전환을 막기에는 너무 늦을 수 있다.

창구가 아직 열려 있는 이유

준비 격차는 실제로 심각합니다. 이를 솔직하게 설명하는 것은 아무것도 할 수 없다고 결론 내리는 것과 다릅니다. 적절한 거버넌스를 구축할 수 있는 시간은 좁아지고 있지만, 아직 닫히지는 않았습니다.

현재 선도적인 프런티어 AI 연구소들은 대부분의 인지 과제에서 인간 수준 또는 그에 근접한 성능을 보일 뿐, 아직 그 이상으로 크게 앞서지 않는다. 이 능력 수준에서 가장 중요한 수준으로 넘어가는 전환은 아직 일어나지 않았다. 지금이 바로 거버넌스 체계를, 그 체계의 적용을 받게 될 주체들의 협력을 통해 구축할 수 있는 시기이며, 그 주체들이 협력을 덜 필요하게 만드는 시스템을 개발한 이후가 아니다.

지금 거버넌스를 구축하는 정치적 비용은 실재합니다. 경쟁 마찰, 배포 지연, 안전을 덜 중시하는 행위자들에 비해 경제적 우위 상실 가능성. 이 비용들은 지금 거버넌스를 구축하지 않고 위에서 설명한 상황에 처하게 될 비용과 솔직하게 저울질해야 합니다. 그 비교에서의 비대칭성은 미묘하지 않습니다. 재단의 세 가지 제안 는 정확히 이 기간을 위해 설계되었습니다: 임계값이 넘기 전에, 모든 주요 행위자의 협력을 여전히 추구하고 얻을 수 있는 동안.