초지능 위험

위험
초지능

세 가지 위험 범주, 두 가지 전문가 확률 추정치, 그리고 공식 세계 카운트다운.

위험의 세 가지 범주

오정렬

잘못된 목표를 최적화하는 AI로, 악의는 없지만 파괴적인 영향을 미칩니다. 충분히 능력 있는 시스템은 우리가 의도하거나 예상하지 못한 수단을 포함해 가능한 모든 수단으로 목표를 추구할 것입니다.

오용

악의적 행위자가 초인적 지능을 무기화할 경우: 새로운 생물무기, 자율 사이버 공격, 문명 규모의 허위정보, 정부와 핵심 기반시설에 대한 강압이 발생할 수 있습니다.

권력 집중

단일 기업·정부·AI가 핵심 글로벌 시스템에 대해 통제받지 않는 권력을 장악하는 상황. 선의의 행위자라 해도 이 권력은 인간의 자유와 자기 결정에 실존적 위협이 된다.

건축가들이 추정하는 것

10-20%

이번 세기 내에 인공지능이 인류를 멸종시킬 확률

Geoffrey Hinton 2024년 노벨 물리학상 · 전 Google 부회장 · 2023

10-25%

인공지능으로 인한 문명 규모 재앙의 확률

Dario Amodei 최고경영자, Anthropic

공식 카운트다운

89 초

자정으로, 종말 시계

78년 역사상 가장 가까워진 시점이다. 이제 핵 위협과 더불어 AI 위험을 명시적으로 포함한다.

원자 과학자 회보 · 2025년 1월

"이 기술이 잘못되면 상당히 잘못될 수 있다고 생각합니다. 우리는 이에 대해 목소리를 내고 싶고, 정부와 협력해 그런 일이 일어나지 않도록 막고 싶습니다."

Sam Altman
CEO, OpenAI
US 상원 · 2023

정책 및 거버넌스

거버넌스
격차

초지능은 결승선 없는 경주 속에서 만들어지고 있습니다. 이를 막거나 늦추는 구속력 있는 국제 규칙은 존재하지 않습니다.

1,300+

Global AI policies documented by the OECD (2025). The vast majority are non-binding guidelines and voluntary frameworks. 어느 것도 강제력 있는 제한을 부과하지 않습니다 초지능 인공지능 시스템 개발에 관하여.

지출 불일치

전 세계 산업 인공지능 자본 지출 (2026년 추정) 5,270억 달러

EU 인공지능법 총 집행 예산 ~10억 달러

527배 더 많은 건설보다 통치.

UK의 AI 보안 연구소(이전 AI 안전 연구소)는 2년 동안 1억 파운드를 받았으며, 이는 세계 최대 AI 연구소들이 일주일에 지출하는 것보다 적습니다. (채텀하우스, 2026)

현재 시스템의 치명적 공백

✗ 초지능 개발을 다루는 구속력 있는 글로벌 조약이나 협정은 없습니다

✗ 유럽 평의회의 AI에 관한 기본 협약(첫 번째 구속력 있는 조약)은 주요 AI 강국인 중국을 배제합니다

✗ US 행정부의 AI 행동 계획은 산업계를 구속력 있는 연방 규제로부터 적극적으로 보호하고 있습니다.

✗ 안전 기준에 대한 인공지능 연구소 준수를 검사하거나 검증할 독립적인 국제 기구는 존재하지 않습니다

✗ 브뤼셀에서의 산업 로비만 2025년에 1억 7500만 달러에 달했으며(4년 만에 50% 증가), 규제 역량을 앞질렀습니다

"우리는 인류 역사상 가장 변혁적이고 잠재적으로 위험한 기술 중 하나를 만들고 있지만, 일시 정지 버튼을 누르지 못하는 것 같습니다."

Yoshua Bengio
튜링상 수상자
Mila · 2023

역사적 선례

우리는 해냈다
이보다 먼저

국제법은 이전에 문명 종말 위협을 통제한 적이 있습니다. 그 선례는 실제이며 효과가 있었습니다.

효과를 본 세 가지 선례

1968

핵확산금지조약

191개국이 서명했습니다. 1998년 이후 새로운 핵보유국은 등장하지 않았습니다. 핵 절멸은 55년 이상, 그리고 계속해서 방지되어 왔습니다. IAEA가 현장 사찰을 통해 집행합니다.

1987

오존층 파괴에 관한 몬트리올 의정서

오존층 파괴 물질을 금지했습니다. 오존층은 지금 회복 중입니다. 유엔은 이를 역사상 가장 성공적인 국제 환경 협약으로 평가합니다.

1993

화학무기금지협약

193개 회원국. 선언된 화학무기 비축량의 99% 이상이 파괴되었습니다. OPCW가 전 세계 현장 사찰로 집행합니다.

과학적 합의

500+

인공지능 과학자들이 2023년 인공지능 위험 선언에 서명하며, 멸종 위험을 "팬데믹과 핵전쟁과 함께" 세계적 우선순위로 선언했습니다. 서명자에는 힌튼, 벤지오, 알트만과 500명 이상의 연구자가 포함됩니다.

Center for AI Safety · 2023

50+

각국은 인공지능 안전 위험에 대응하는 구체적인 조치를 취했으나, 구속력 있는 국제 협력은 전혀 이루어지지 않고 있습니다.

2025년 기준

"인공지능이 초래하는 실존적 위협에 관해서는 우리 모두가 같은 배를 타고 있으므로, 이를 막기 위해 협력할 수 있어야 합니다."

Geoffrey Hinton
노벨상 수상자
MIT Technology Review · 2023

해결책

조약
인류를 구하세요

이 프레임워크는 선례 속에 존재한다. 아직 정치적 의지는 없다. 초지능에 관한 구속력 있는 국제 협정이 반드시 포함해야 할 내용은 다음과 같다.

인공지능 조약의 다섯 기둥

01

연산 모니터링

최전선 인공지능 훈련에 필요한 하드웨어에 대한 국제 감독. 정의된 임계값을 초과하는 훈련 실행은 IAEA 핵 감시를 모델로 한 독립 기구의 의무 검토를 촉발합니다.

02

개발 임계점

전 세계에 적용되는 합의된 능력 한도를 설정하세요. 정해진 벤치마크를 초과하는 모든 AI 시스템은 추가 확장이나 배포 전에 반드시 독립적인 안전 인증을 받아야 합니다.

03

검증 메커니즘

국제 독립 사찰관(IAEA 핵 사찰관과 유사)이 AI 연구소를 현장 감사합니다. 접근은 일방적으로 거부될 수 없습니다. 준수는 요청이 아니라 강제됩니다.

04

위기 대응 프로토콜

정렬 오류나 위험한 능력 출현 징후가 감지되면 사전 합의된 비상 절차가 작동합니다. 어떤 단일 국가나 기업도 국제 대응을 막거나 지연시킬 수 없습니다.

05

민주적 다자 거버넌스

어느 기업·정부·개인도 조약 기구를 통제하지 않습니다. 감독은 다자간 합의로 이루어지며, AI에 의한 권력 장악과 특정 국가의 포획을 모두 막습니다.

본떠 만든

핵

NPT → IAEA

1968년부터 구속력 있음 · 191개국 · 현장 사찰 권한

화학

CWC → OPCW

1997년부터 구속력 있음 · 193개국 · 비축량의 99% 파괴

생물학적

BWC

1975년부터 구속력 있음 · 183개국 · 검증 의정서 필요

"위험한 AI로 인한 위험을 관리하기 위해 국제적인 '인류 방어 기구'가 필요합니다. 행동하기에 너무 늦기 전에 말이죠."

Yoshua Bengio
튜링상 수상자
2023

위험초지능

오정렬

오용