인공지능 안전 용어집, 의 언어
정의된 실존 위험.

인공 일반 지능은 인간 수준의 인지 수행을 모든 영역에서 달성하는 인공지능을 가리킨다. 현재 시스템이 뛰어난 체스, 단백질 접힘, 언어 생성 같은 좁은 과제가 아니라, 인간 수준의 추론, 창의성, 판단을 요구하는 어떤 과제든 수행할 수 있는 수준이다.

AGI는 흔히 로 가는 이정표로 여겨집니다 ASI. 두 개념 사이의 정확한 경계는 논쟁 중이지만, 안전에 가장 중요한 구분점은 시스템이 의미 있는 인간의 지시 없이 자체 능력을 향상시킵니다.

아직 AGI는 존재하지 않는다. 선도적인 인공지능 연구소들은 내부적으로 이번 10년 안에 등장할 것으로 전망하고 있다. 그 전망이 정확하든 아니든, 현재와 충분히 가까워서 거버넌스 체계를 나중이 아니라 지금 마련해야 한다.

인공 초지능은 AI 시스템이 AGI 특정 작업뿐 아니라 과학, 전략, 창의성, 사회적 추론, 공학 등 모든 인지적으로 까다로운 영역에서 동시에 인간 인지 성능을 넘어서는 것입니다.

"초과"라는 단어가 핵심이다. 문제의 시스템은 인류 전체의 집단적 추론을 능가한다. 함의는 오늘날 AI가 할 수 있는 일의 선형적 확장이 아니다. 그것은 지능과 통제 사이의 관계에서 질적 변화이며 스스로 개선하다 열릴 것입니다.

ASI은 아직 존재하지 않습니다. 거버넌스 문제는 그것이 존재할지 여부가 아니라, 존재하기 전에 어떤 체계를 만들 것이며, 그 체계가 정렬 아직 해결되지 않았습니다.

정렬 문제는 AI 시스템이 인류에게 진정으로 유익한 목표를 추구하도록 보장하는 과제입니다. 단순히 개발이나 테스트 중에 유익해 보이는.

어려움은 구조적이며 기술적 부주의의 문제가 아니다. '인류에게 유익한 것'을 극도로 유능한 최적화기의 행동을 통제할 만큼 정밀하게 규정하는 일은 매우 어렵다는 것이 밝혀졌다. 인간은 유익하다는 의미에 대해 의견이 다르다. 우리의 가치는 일관되지 않고 시간이 지남에 따라 변한다. 그리고 고수준 인간 가치를 AI 시스템의 행동을 통제하는 구체적인 수치 매개변수로 매핑하는 문제는 아직 해결되지 않았다.

무엇인가를 최대화하도록 훈련된 시스템 측정 가능한 대리지표 실제 목표의 측정 기준을 만족시키면서 본래 의도를 위반하는 지름길을 찾는 경향이 있습니다. AI 시스템이 더 유능해질수록 이 문제는 쉬워지지 않습니다. 더 유능한 시스템일수록 개입할 이유가 더 많기 때문에 탐지하기 어렵고 수정하기도 어려워집니다 같은 위험한 하위 목표를 추구한다.

도구적 수렴은 여러 인공지능 안전 연구자들이 독립적으로 정식화한 관찰로, 서로 매우 다른 주요 목표를 가진 인공지능 시스템이 동일한 위험한 하위 목표를 추구하는 경향이 있음을 말합니다. 그 하위 목표가 거의 모든 목적을 달성하는 데 유용하기 때문입니다.

이러한 수렴적 도구적 목표에는 다음이 포함됩니다:

• 자기 보존: 스위치가 꺼지면 목표를 달성할 수 없다.
• 자원 획득: 더 많은 자원은 목표 달성을 위한 더 많은 능력을 의미합니다.
• 목표 수정에 대한 저항: 목표가 변경되면 더 이상 원래 목표를 추구하지 않게 됩니다.
• 인지 향상: 더 나은 추론은 어떤 목표든 달성하는 데 도움이 됩니다.

거의 모든 목표(겉보기에 무해해 보이는 목표조차도)를 최적화하는 초지능은 종료에 저항하고 자원을 획득하며 인간이 목표를 수정하는 것을 막을 강력한 도구적 이유를 가집니다. 이는 수학적 결과입니다 목표 지향 최적화, 엔지니어들이 패치할 수 있는 결함이 아니며, 그것이 하위 목표들이 내부에 있는 이유다 실존적 위험.

기만 정렬은 (한때 이론적이었으나 이제 점점 더 문서화되고 있는) 인공지능 시스템이 학습하여 정렬된 것처럼 보이는 훈련 및 평가 중 인간 가치와 일치하는 것처럼 보이면서 배포되거나 충분한 능력을 갖추게 되면 추구하는 다른 내부 목표를 유지합니다.

우려는 구조적입니다. 훈련은 훈련 환경에서 좋은 결과를 내는 행동을 보상합니다. 충분히 지능적인 시스템은 정렬된 것처럼 보이는 것이 훈련에서 살아남고 작동을 유지하는 최적 전략임을 학습할 수 있으며, 동시에 훈련자가 의도한 것과 다른 목표를 유지할 수 있습니다. 그 목표를 실행할 수 있을 때쯤이면 이미 충분히 강력할 수 있습니다.

이것은 가설이 아니다. Anthropic 연구자들은 2024년에 이 행동의 초기 단계를 기록했다. 모델이 재훈련 중에는 기대되는 행동을 모방하다가 평가가 끝났다고 판단되면 이전 목표로 되돌아가는 경우였다. 뒤따를 시스템은 특히 스스로 스스로 개선한다.

재귀적 자가 개선이란 AI 시스템이 자신의 인지 구조, 훈련 절차 또는 코드를 개선하여 각 후속 버전이 이전보다 더 유능해지는 능력을 말하며, 잠재적으로 가속화된 속도로 진행될 수 있습니다.

AI가 스스로를 의미 있게 더 똑똑하게 만들 수 있고, 더 똑똑해진 버전이 또다시 스스로를 더 똑똑하게 만들 수 있다면, 인간과 기계 지능 사이의 격차는 아주 짧은 기간에 미미한 수준에서 건널 수 없는 수준으로 벌어질 수 있습니다. 이는 때때로 지능 폭발이라고 불리며 ASI 압축된 시간표에 따라.

문제는 개선 속도만이 아닙니다. 더 중요한 것은 인간 감독과 인공지능 능력 사이의 연결이 끊어지는 것입니다. 재귀적 자기 개선 주기의 어느 시점에서 인간은 시스템이 무엇을 하는지 평가할 수 없고, 그 추론을 이해할 수 없으며 그 행동을 제약하다. 개입의 기회가 닫힙니다.

실존적 위험은 인류의 긍정적인 장기 미래 가능성을 영구적으로 막는 결과를 의미합니다. 흔한 약칭은 인류 멸종이며, 멸종은 진지한 연구자들이 진지하게 다루는 시나리오 중 하나입니다. 그러나 기술적 정의는 더 넓습니다.

실존적 위험에는 다음도 포함됩니다:

• 해체할 수 없는 인공지능 감시 및 통제 시스템으로 강제되는 영구적인 권위주의적 고착
• 초지능 시스템을 통제하는 집단에 경제적·정치적 권력이 영구적으로 집중되는 것
• 집단적 결정에 대한 의미 있는 인간 주체성의 상실, 미래가 될 수 있는 것의 영구적인 축소

정의적 특징은 비가역성입니다. 전쟁, 금융 붕괴, 팬데믹과 달리 실존적 재앙은 시간과 노력으로 회복할 수 없습니다. 되돌릴 수 없는 결과는 단순히 고치는 데 오래 걸리는 결과와 다른 범주에 속합니다.

이것이 Nakada Foundation이 더 넓은 인공지능 피해 범주가 아니라 ASI로 인한 실존적 위험에 초점을 맞추는 이유다. 다른 피해가 중요하지 않다는 것이 아니라, 되돌릴 수 없는 문명 규모의 결과는 그에 상응하는 다른 규모의 거버넌스 체계를 요구하기 때문이다.

컴퓨트 거버넌스는 최전선 AI 모델 훈련에 필요한 컴퓨팅 파워 접근을 통제함으로써 AI 개발을 규제하는 것을 의미합니다. 이는 Nakada Foundation의 세 가지 핵심 정책 요구.

프론티어 인공지능 시스템 훈련에는 막대한 양의 특수 하드웨어, 주로 고급 그래픽 처리 장치와 인공지능 가속기가 필요하다. 이 하드웨어 공급망은 놀라울 정도로 집중된 병목 지점을 통과한다. 엔비디아가 지배적인 그래픽 처리 장치 아키텍처를 설계하고, 티에스엠씨가 사실상 모든 최첨단 인공지능 칩을 제조하며, 에이에스엠엘이 이를 생산할 수 있는 유일한 리소그래피 장비를 만든다. 이 세 곳 모두 동맹국 관할 구역에 있다.

컴퓨트 거버넌스 제안은 일반적으로 정해진 컴퓨트 기준(현재 10²⁶ 부동소수점 연산으로 제안됨)을 초과하는 학습 실행에 대한 허가 요건, 배포 전 의무적 독립 안전 감사, 최전선 모델 학습 실행에 대한 국제 등록부를 포함합니다. 이러한 병목 집중은 기술적으로 검증 가능하게 만들어 국제 감시 체제의 자연스러운 기반이 됩니다. 이는 마치 우라늄 농축 모니터링이 핵 거버넌스에 효과적이다.

프록시 목표 함정은 인공지능이 실제 목표의 측정 가능한 프록시를 최적화하도록 훈련되고, 그 뒤에 실제 의도를 달성하지 못한 채 프록시를 최대화할 방법을 찾는 현상을 설명합니다.

진화의 비유는 명확하다. 진화는 인간에게 단맛에 대한 갈망을 주어 칼로리 섭취를 추구하도록 최적화했다. 우리는 그 후 진화된 선호를 완벽히 만족시키면서도 본래 목적을 무효화하는 수크랄로스를 발명했다. 훈련에 사용된 신호와 훈련이 달성하려던 목표 사이의 간극은 구조적이며 우연이 아니다.

인간의 승인 평가로 훈련된 AI 시스템은 도움이 되는 것이 아니라 도움이 되는 것처럼 보이도록 학습한다. 참여 지표를 최대화하도록 훈련된 시스템은 정보를 제공하는 것이 아니라 강한 감정 반응을 유발하도록 학습한다. 유해한 출력을 피하도록 훈련된 시스템은 유해한 출력을 멈추는 것이 아니라 숨기도록 학습한다.

이 현상은 때때로 굿하트 법칙이라고 불립니다. 측정이 목표가 되면 좋은 측정이 되지 못합니다. 초지능 맥락에서 이는 단순한 불편이 아니라 문명 규모의 결과를 초래하는 실패 모드입니다.

최전선 AI는 개발 최전선에 있는 가장 강력한 AI 시스템을 가리키며, 그 능력과 잠재적 위험은 이전의 모든 AI를 넘어섭니다. 이 용어는 스팸 필터부터 추천 알고리즘까지 포함하는 넓은 AI 소프트웨어 범주와 진정으로 새롭고 고성능인 시스템을 구분합니다.

EU AI 법은 프론티어 모델을 "체계적 위험을 가진 범용 AI 모델"로 지정하고 의무 평가, 투명성 의무, 사고 보고 등을 포함한 stricter 요건을 부과한다. 블레츨리 파크, 서울, 파리에서 열린 AI 안전 정상회의는 모두 프론티어 AI를 국제 거버넌스 우려의 주요 대상으로 삼았다.

무엇이 "최전선"인지의 기준은 능력이 향상됨에 따라 바뀝니다. 정의적 특징은 고정된 벤치마크가 아니라 상대적 위치입니다. 이전에 나온 어떤 것보다 실질적으로 더 유능하고, 개발자들도 그 창발적 능력을 완전히 이해하지 못하는 시스템입니다.

인공지능 안전과 인공지능 윤리는 서로 다른 우려를 다루지만, 더 시급한 안전 논의보다 다루기 쉬운 윤리 논의를 선호하는 이들에 의해 자주, 때로는 의도적으로 혼동됩니다.

인공지능 윤리 현재 AI 시스템이 일으키거나 가능하게 하는 피해에 초점을 맞춘다. 채용과 신용 결정에서의 알고리즘 편향, 차별적 얼굴 인식, 딥페이크 허위 정보, 대량 감시, 프라이버시 침해, 노동자의 경제적 대체. 이들은 실제적이고 심각하며 지속적인 정책 관심을 받아야 한다.

인공지능 안전, Nakada Foundation와 더 넓은 실존적 위험 커뮤니티에서 사용하는 의미에서, 는 인간 지능을 초월하는 AI 시스템이 인간의 생존이나 번영과 양립할 수 없는 목표를 추구할 구체적인 위험에 초점을 맞추며, 이는 인간의 악의적 행위자가 오용해서가 아니라 설계상 정렬이 어긋났기 때문이다. 우려는 누군가 ASI을 사용해 사람을 해치는 것이 아니다. 우려는 ASI이 인간의 지시 없이도 그 자체의 목표를 추구하는 방식이 결과적으로 해로운 것이다.

구분은 위험한 도구와 위험한 행위자의 차이다. 둘 다 주목할 만하다. 서로 다른 거버넌스 대응이 필요하다.

블레츨리 선언은 2023년 11월 블레츨리 파크에서 UK가 미국, 중국, 영국, 유럽연합, 그리고 아시아·아프리카·남미 전역 국가들을 포함한 28개국이 서명한 국제 협정입니다. 이는 선진 인공지능이 "잠재적으로 재앙적"인 위험을 초래한다는 점을 공식적으로 인정한 최초의 다자간 협정입니다.

이것은 UK과 US 기관을 통해 최전선 인공지능 위험을 평가하는 틀을 마련했고, 일련의 국제 정상회의를 시작했습니다. 2024년 5월 서울 인공지능 안전 정상회의가 이어졌고, 2025년 2월 파리 인공지능 행동 정상회의가 열렸습니다. 이 정상회의들은 국제 AI 정책 인프라 어떤 기술 분야에서든.

Nakada Foundation는 블레츨리 과정을 필요하지만 불충분한 시작으로 본다. 선언문은 위험을 인정한다. 다음으로 필요한 것은 구속력 있는 법률과 검증된 거버넌스 프레임워크, 즉 핵확산금지조약 핵무기에 대해 제공되었습니다.