그들은 연구소에 이름을 붙였다
초지능

Safe Superintelligence Inc. 공개 홈페이지에서 홍보 문구는 단일 제품 라인이다. "우리는 세계 최초의 직진형 SSI 연구소를 시작했으며, 단 하나의 목표와 단 하나의 제품을 갖고 있다. 안전한 초지능." 초지능은 여기서 위험 범주가 아니라, 전달해야 할 결과물로 등장한다.¹

2025년 6월 말, 마크 저커버그는 Meta 초지능 연구소를 발표하며 기반 모델, 제품 팀, FAIR를 하나의 조직으로 통합했으며, 그 이름은 동일한 목적지를 명시한다. 공개 보도에 따르면 Scale AI의 알렉산드르 왕과 전 GitHub CEO 냇 프리드먼이 책임을 맡았으며, Meta가 해당 스타트업을 인수하려다 실패한 후 다니엘 그로스가 Safe Superintelligence에서 합류했다.²

현재 가장 많은 자금을 받는 인공지능 노력 두 곳이 거의 모든 작업에서 모든 인간을 능가하는 시스템을 뜻하는 단어를 사용합니다. 그 단어는 한때 경계를 표시했습니다. 이제는 그들의 레터헤드에서 로드맵을 표시합니다.

제품 범주로서의 종착점

회사 이름은 압축된 주장으로 작동한다. 부서를 “광고”라고 부르면 모두가 무엇을 파는지 안다. “초지능 연구소”라고 부르면 대중은 종착점을 제품 범주로 취급하도록 초대받는다. 전화나 클라우드 저장소가 제품 범주인 것처럼. 어려운 도덕적 질문(이것이 존재해야 하는가)은 제품 질문(누구의 버전이 먼저 출시되는가)로 축소된다.

안전 초지능은 한 걸음 더 나아간다. 재앙을 가리키는 명사에 "안전"이라는 형용사를 붙인다. 그 문구는 증명이 해야 할 일을 대신한다. 투자자, 채용 대상자, 기자에게 위험은 운영자보다 똑똑한 마음을 제어할 방법을 아무도 제시하기 전에 이미 사전 해결된 것으로 분류되었다고 말한다. 재단의 견해는 명확하다: 인류는 초지능을 절대 만들어서는 안 된다. 안전한 인공지능을 약속하는 브랜드는 그 반대 주장을 로고로 파는 셈입니다.

Meta의 버전은 형용사를 빼고 야망을 유지합니다. "Superintelligence Labs"는 친절하겠다는 어떤 약속도 건너뛰고 능력의 정점까지의 등반을 명시합니다. 상장 기업 안에서 그 이름은 또한 자본과 명성이 어디로 흐를지 시장과 인재에게 신호합니다. 브랜딩은 경주가 진행되는 방식의 일부이지, 그 위에 덧칠한 페인트가 아닙니다.

"안전"이라는 단어가 제공하는 안심

기술적 작업을 하는 사람들 정렬 인간이 의미하는 대로 작동하는 시스템을 원한다고 해서 악당은 아닙니다. 문제는 작업 순서입니다. 가장 강력한 마음을 먼저 만들고 나중에 안전하게 만들겠다고 약속하는 것은 문명을 끝낼 수 있는 기술에 대해 지금까지 유일하게 효과 있었던 순서를 뒤집는 것입니다. 우리는 "안전한 전략 탄두 주식회사"를 만들고 아무도 되돌릴 수 없는 위력까지 경쟁하지 않습니다. 우리는 특정 무기 부류를 금지하고 금지를 검증하며 잔여 연구를 금지령에 종속시킵니다.

초지능은 거버넌스에 가장 중요한 속성에서 탄두보다 더 나쁘다. 폭탄은 놓아둔 자리에 그대로 있다. 스스로 개선하고, 의도를 숨기고, 네트워크를 통해 행동할 수 있는 시스템은 그렇지 않다. 이 분야는 여전히 그런 시스템이 규모를 확장하면서도 인간과 호환되는 목표를 유지하도록 보장하는 입증된 방법이 없다. 그 격차는 과학적이며, "안전한 초지능"이라는 이름은 과학이 아직 이루지 못한 수사적 역할을 하고 있다.³

안전 사례가 탄탄하다면 정직한 이름은 여전히 이상할 것이다. 우리는 보통 멸종 수준의 실패 모드를 제품으로 브랜딩하지 않는다. 우리는 통제되고 한정된 도구를 브랜딩한다. 두 개의 진지한 조직이 실패 모드를 마스트헤드로 선택했다는 사실은 업계 내부에서 오버턴 창이 이미 얼마나 이동했는지 말해 준다.

불가피성은 개발자들이 필요로 하는 이야기다

모든 경쟁에는 멈추는 것이 순진하다는 이야기가 필요합니다. 표준 버전은 누군가 어차피 만들 것이므로 성숙한 선택은 더 우호적인 깃발 아래 먼저 만드는 것이라고 말합니다. 연구실 이름을 종착점으로 붙이는 것은 그 이야기를 굳힙니다. 금지를 군비 통제가 아니라 러다이트처럼 들리게 만듭니다 그것을 금지하는 조약 는 이미 로드맵에 있는 제품 라인에 대한 공격처럼 들립니다.

이야기는 지분, 명성, 국가 프로젝트가 경주에 남아 있는 데 의존하는 누구에게나 편리합니다. 다른 실존적 기술이 다루어진 방식에 대한 형편없는 설명입니다. 화학무기, 지뢰, 인간 복제 연구 모두 "다른 누군가가 할 것이다"라는 주장을 마주했습니다. 중요한 국가들은 여전히 금지, 사찰, 처벌을 만들었습니다. 세계가 정상화하기로 결정하지 않은 능력 범주와 비교해야지, 소비자 앱 범주와 비교해서는 안 됩니다.

이 모든 것이 해당 조직 연구자들 모두가 나쁜 결과를 원한다고 믿을 필요는 없습니다. 대부분은 명성, 발견, 그리고 자신이 신중했다는 이야기를 원합니다. 인센티브가 나머지를 결정합니다. 초지능을 이름에 내건 연구소는 초지능을 향한 진전에 따라 평가, 자금 지원, 인력이 결정됩니다. 안전은 하나의 부서가 되고, 목적지는 건물에 그대로 남습니다.

그런 이름으로 무엇을 해야 할까

브랜드가 파는 전제를 거부하십시오. 초지능은 인류가 넘지 말아야 할 선입니다. 초지능은 인간이 통제할 수 없습니다. 올바른 제도적 대응은 법에 따른 예방이며, 경쟁의 재브랜딩이 아닙니다.

회사가 문에 "초지능"이라고 써 붙였다면 그것을 의도의 선언으로 읽어라. 그 선언을 누락된 안전 사례와 견주어라. 통제 불가능한 마음을 향한 민간 경쟁이 여전히 합법인 이유를 입법자들에게 물어라. 데모 영상만 보는 사람들에게 평이한 버전을 공유하라. 그들은 이 일이 어디로 향하는지 숨기고 있지 않다.