성명서에 관하여
설명하는 초지능

2025년 10월 22일, 미래생명연구소가 공개 서한 초지능에 관한 성명. 보통 이런 순간에 따라오는 장황한 선언문들과 달리, 이것은 단 한 문장입니다:

우리는 초지능 개발을 금지할 것을 요구합니다. 이는 광범위한 과학적 합의로 안전하고 통제 가능하다는 결론이 나고 강력한 대중 지지가 있을 때까지 해제되지 않습니다.

초지능에 관한 성명, Future of Life Institute · 2025년 10월

이 성명은 초지능을 절대 만들지 말아야 한다고 말하지 않습니다. 인공지능 자체를 비난하지도 않습니다. 조건(사실 두 가지 조건)을 제시하고 그 조건이 충족될 때까지 개발을 중단할 것을 요청합니다. 이 겸손해 보이는 요청이 논쟁의 진정한 전환을 의미함을 이해하려면, 그것이 요구하는 바와 서명한 인물들을 모두 알아야 합니다.

진술이 실제로 요구하는 것

표현은 정확합니다. 세 가지 특징이 2023년 대규모 학습 실행 6개월 중단을 촉구한 잘 알려진 서한을 포함한 이전 공개 서한과 구별됩니다.

• 그것은 특히 초지능을 목표로 합니다. 좁은 AI도, 챗봇도, 이미 일상에 스며든 AI 도구도 아닙니다. 금지 대상은 본질적으로 모든 인지 영역에서 인간 능력을 넘어서는 시스템이며, 우리가 설명서에서 설명하는 범주에 속합니다 인공 초지능. 이러한 정밀함은 안전 옹호자들이 유익한 기술을 중단하려 한다는 흔한 반론을 무디게 합니다. 그들은 그렇지 않습니다. 그들은 단 하나, 특히 위험한 프런티어만을 중단하려 합니다.
• 이는 조건부 금지이지, 영구적인 금지가 아닙니다. 금지령은 두 가지 문턱이 넘는 순간 해제된다. 이는 전체 질문을 재구성한다. 오늘날의 기본값은 초지능을 만들고, 나중에 안전을 확립할 수 있다면 확립하는 것이다. 그 선언은 이를 뒤집는다. 먼저 안전을 확립한 다음 만들라. 증명의 부담은 개발자에게로 옮겨가며, 이 정도 결과의 기술에서는 그게 타당하다고 볼 수 있다.
• 전문가의 승인뿐만 아니라 대중의 지지가 필요하다. 두 번째 조건은 기술적이지 않고 민주적이다. 과학자들이 언젠가 초지능을 통제할 수 있다는 데 동의하더라도, 그 선언은 대중이 그것을 만드는 데 동의해야 한다고 주장한다. 이는 소수의 민간 연구소가 모두를 대신해 문명을 바꾸는 결정을 내리는 현재의 구조에 대한 직접적인 도전이며, 우리는 누가 초지능을 통제하는지.

문장보다 서명자들이 더 중요한 이유

공개 서한은 비용이 적게 듭니다. 이번 서한이 주목받은 이유는 연대 때문입니다. 850명 이상이 서명했으며, 그 목록의 가치는 길이가 아니라 구성에 있습니다 범위.

최상단에는 그 분야를 개척한 과학자들이 있었다. Yoshua Bengio 그리고 Geoffrey Hinton (튜링상 수상자이자 현대 AI의 대부로 자주 불리는 두 사람)도 서명했으며, 버클리의 Stuart Russell, 표준 인공지능 교과서의 저자. 기술의 존재에 가장 책임 있는 사람들이 그 가장 강력한 형태를 만들기 전에 세상에 멈추라고 요청할 때, 그것은 증언이지 행동주의가 아니다.

그 다음으로 건설자들과 공인들이 왔습니다. Apple 공동 창업자 Steve Wozniak 그리고 버진 창립자 Richard Branson. 역사가 Yuval Noah Harari, 행위자 Stephen Fry, 그리고 음악가 will.i.am. 전 합동참모본부 의장을 포함한 퇴역 국가안보 지도자들 Admiral Mike Mullen 그리고 전 국가안보 보좌관 Susan Rice. 그리고 거의 모든 점에서 의견이 다른 인물들조차도: Prince Harry and Meghan 과 함께 Steve Bannon 그리고 Glenn Beck.

그 마지막 세부 사항이 전체 주장을 축소해 보여줍니다. 영국 왕실 부부와 MAGA 미디어 전략가가 같은 문장에 서명할 때, 이 문제는 일반적인 이념적 분류를 벗어났습니다. 초지능에 대한 우려는 2025~2026년에 진정한 초당파적 도달 범위를 가진 극소수의 입장 중 하나이며, 이는 구속력 있는 정책을 가능하게 하는 바로 그 종류의 연합입니다. 좌도 우도 아니고, 기득권도 포퓰리스트도 아닙니다.

성명이 무엇인지, 그리고 무엇이 아닌지

한계를 냉철하게 보는 것이 중요합니다. 공개 성명은 아무것도 금지하지 않습니다. 규제 기관을 지휘하지도, 기업을 구속하지도, 정부를 제약하지도 않습니다. 이를 법으로 읽는 사람은 오해하는 것입니다.

그것이 하는 일은 을 이동시키는 것입니다 오버턴 창, 주류로 여겨지고 말할 수 있는 입장의 범위. 2년 전, 특정 AI 계열에 대한 금지를 요구하는 것은 주변부로 치부되었을 것이다. 2025년 10월 이후, 그것은 노벨급 과학자, 상징적 기업가, 스펙트럼 전반의 정치 인물이 공개적으로 지지하는 입장이다. 말할 수 있는 것이 존중받을 만한 것으로 바뀌는 것은 이후 모든 것의 전제 조건이다. 정치인은 이미 인기 있는 입장을 취한다. 그들은 거의 앞서가지 않는다. 성명의 기능은 금지가 지도자들이 행동할 수 있을 만큼 충분히 인기 있게 만드는 것이다.

이것이 바로 초기 기술 거버넌스 운동들이 시작된 방식입니다 퍼그워시 회의 핵무기 통제를 뒷받침할 지적·도덕적 합의를 20년 동안 쌓아 올렸다. 성명과 선언은 활주로를 만드는 방법이지, 결승선이 아니다.

한 문장에서 조약까지

선언문과 현실 사이의 간격이 바로 Nakada Foundation이 메우려는 간격입니다. 선언은 금지가 바람직하고 정당하다는 점을 확립합니다. 그러나 이를 집행할 장치를 만들지는 않습니다. 선언이 의도적으로 명시하지 않은 세 가지가 필요합니다:

• 실효성 있는 정의. "초지능"은 조약이 작용할 수 있는 기준, 컴퓨트 임계값, 능력 평가 또는 둘 다로 번역되어야 합니다. 우리는 이를 위험한 AI를 정의하는 외교적 과제.
• 검증. 아무도 확인할 수 없는 금지는 생물무기협약, 수십 년 동안 탐지되지 않고 위반된 고귀한 금지입니다. 신뢰할 수 있는 거버넌스는 핵 검증 체제.
• 구속력 있는 약속. 자발적 서약은 실적이 있으며, 그 실적은 고무적이지 않다. 우리가 쓴 글의 주제이기도 하다 자발적 약속이 왜 부족한지. 그 성명의 원칙은 강제력 있는 법이 되어야 합니다.

초지능에 관한 성명은 가치 있는 사실을 증명했습니다. 의지가 존재하며, 평소 사람들을 가르는 모든 경계를 넘어선다는 점입니다. 우리의 계획 그 의지를 연산 통제, 감시 기관, 국제 조약으로 전환해 그 선언문의 단 한 문장에 필요한 힘을 부여하는 일이다. 그 문장에 동의한다면 다음으로 가장 유용한 일은 이를 정책으로 만드는 연합을 구축하는 데 돕는 것이다.