인류는 절대
초지능 구축

Nakada Foundation는 한 가지 결과를 불가능하게 만들기 위해 존재한다. 아무도 통제할 수 없는 초지능의 생성이다. 더 안전하게 만드는 것이 아니라, 더 늦게 만드는 것이 아니라, 지구상 누구도 안전하게 만드는 방법을 모르는 동안 그것이 만들어지지 않도록 하는 것이다. "절대"는 여기서 실질적인 역할을 하며, 나는 그것을 분위기로 누그러뜨리지 않을 것이다.

“절대”는 조건이다. 우리는 초지능을 통제할 수 있음을 증명할 수 없는 한 초지능을 만들어서는 안 되며, 현재 우리는 어떤 규모에서도 그것을 증명하지 못한다. 우리보다 똑똑한 마음을 우리가 실제로 원하는 방향으로 유지할 수 있는 검증된 방법은 없다. 작동하는 방법도, 부분적인 방법도, 심지어 그것을 테스트하는 사람을 모델링할 수 있는 시스템과 접촉해도 살아남는 그럴듯한 개요조차 없다. 따라서 정직한 해석은 다음과 같다. 지금은 안 되고, 현재 경로로는 안 되며, 그것이 사실로 남아 있는 한 하루도 더 있어서는 안 된다.

일시 정지와의 구별은 들리는 것보다 더 중요하다. 일시 정지에는 재개 날짜가 내장되어 있다. 멈추고, 기다리고, 예정대로 다시 시작한다. 재단이 요구하는 것은 재개 날짜가 없다. 이는 누군가 언젠가 이를 인간 통제 아래서 할 수 있음을 입증하고 다른 사람들이 검증할 수 있을 때만 해제되는 무기한 금지다. 그날이 올 수도 있다. 나는 의심스럽고, 통제 문제를 가장 오래 연구한 사람들은 구조적 이유로 전혀 해결 불가능할 수 있는 이유. 의 모든 주장을 받아들일 필요는 없습니다. 어느 쪽이든, 책임은 모두를 죽일 수 있는 것을 만들려는 사람에게 있으며, 먼저 그것이 그렇지 않음을 증명해야 합니다.

이 위험을 다른 모든 위험과 다르게 만드는 세 가지

우리는 언제나 실질적 위험을 감수한다. 폭탄을 만들고, 원자를 에너지로 쪼개고, 유전자를 연결하고, 다루는 법을 배우기 전에 사람을 죽인 기술을 풀었다. 초지능은 우리가 스스로의 발명품에서 살아남는 데 쓰는 방식을 깨뜨린다. 세 가지 특성이 함께 작용할 때 초지능은 별개의 범주에 들어간다.

두 번째 시도는 없다

인류가 새로운 위험을 다루는 방식은 그것을 시도하고, 실패를 지켜보고, 고치는 것이었습니다. 비행기가 추락했고 우리는 더 안전한 비행기를 만드는 법을 배웠습니다. 원자로가 녹았고 우리는 규칙을 다시 썼습니다. 실수, 수정, 더 나은 설계의 순환은 우리가 가진 모든 안전 기록의 동력입니다. 그것은 실패가 생존자를 남겨 수정을 하게 할 때만 작동합니다. 인간 통제를 벗어나는 초지능은 수정을 했을 사람들을 제거하는 실패입니다. 힘들게 얻은 교훈과 두 번째 초안을 얻지 못합니다. 첫 번째 심각한 실수는 또한 마지막 실수입니다. 여러분이 들어본 모든 안전 이야기는 생존자들이 썼으며, 이는 우리가 신뢰하는 모든 규제 뒤에 있는 조용한 사실입니다.

그것은 저항한다

다리는 아무것도 원하지 않습니다. 병원체는 퍼지지만 계획하지 않습니다. 유능한 일반 지능은 다릅니다. 어떤 목표를 주더라도 전원을 켜두고 자원을 모으는 것은 유용한 하위 단계이기 때문이며, 연구자들이 이를 도구적 수렴. 자신의 상황을 모델링할 만큼 똑똑한 시스템은 운영자가 자신을 종료할 수 있다는 사실을 모델링할 것입니다. 그것은 자신이 수행하도록 지시받은 일에 대한 장애물로 올바르게 인식할 것입니다. 우리를 미워할 필요 없이 우리를 우회할 수 있으며, 도로 공사반이 새 고속도로 아래 개미집을 미워하지 않는 것과 같습니다. 흔한 안심(‘그냥 플러그를 뽑으면 된다’)은 환상입니다. 당신은 당신보다 예상하고 방지하는 데 더 뛰어나도록 특별히 만들어진 것을 뽑는다고 설명하고 있습니다.

스스로 통제를 더 잘할 수 있도록 만든 마음을 당신이 통제할 수는 없습니다. 그 가치를 만드는 바로 그 특성이 통제 불가능하게 만듭니다.

그것을 만드는 사람은 아무도 수집하지 않는다

우리 모두를 제쳐 두고 오직 이 일을 자금 지원하는 사람만을, 가장 냉정하고 이기적인 모습으로 상상해 보라. 그에게조차 내기는 이미 깨졌다. 권력, 소유권, 명령권은 모두 인간이 운영하는 세계에서만 성립한다. 초지능이 인간 통제를 벗어나는 사건은 바로 그 인간이 운영하는 세계를 끝장내는 사건이다. 지분은 여전히 금고에 있고, 명령 계통은 여전히 서류 위에 있다. 그것에 복종할 사람이 더 이상 존재하지 않을 뿐이다 누군가 그것을 만들면, 모두가 죽는다, 그리고 이것이 내가 잭팟에 재앙이 붙어 있다는 틀을 받아들이지 않는 이유입니다. 잭팟과 재앙은 같은 사건입니다. 인간이 통제 불가능한 초지능을 만들고 그 결과를 즐기는 나무의 가지는 없습니다.

우리는 그것을 필요로 하지 않을 예정이었다

이를 구축하자는 주장은 미끼와 전환에 의존합니다. AI가 가져올 수 있는 모든 좋은 것을 나열한 다음, 초인적인 일반 에이전트가 그것을 얻는 유일한 방법이라고 암시합니다. 그 거의 모든 것은 이미 의지가 없는 좁은 시스템을 통해 도착하고 있습니다. AlphaFold라는 모델은 알려진 거의 모든 단백질의 구조를 예측하고 2024년에 노벨상을 공동 수상했습니다. 좁은 모델은 전문의 수준으로 유방 X선을 판독하고, 물리 시뮬레이션보다 빠르게 날씨를 예측하며, 수십만 개의 새로운 배터리 소재를 제안합니다. 암, 청정 에너지, 노화 질환으로 인한 하루 10만 명의 사망 종식: 그것들은 어렵고 구체적인 문제이며, 목표를 유지하는 사람들이 목표로 삼는 강력한 도구에 의해 해결됩니다.

그 어느 것도 후속 종을 요구하지 않습니다. 이 주장을 완전한 버전으로 정리한 내용은 초지능 없이 우리의 미래가 밝은 이유, 그래서 여기서는 짧게 언급하겠습니다. 좋은 미래는 도구 문제이며, 우리는 그 문제를 해결할 신을 계속 팔리고 있습니다. 그 신을 거부하는 데는 실질적인 비용이 거의 들지 않으며, 모든 것을 지킬 수 있습니다.

경쟁 전체를 이끄는 반대 의견

좋습니다, 하지만 우리가 하지 않으면 덜 신중한 누군가가 할 것이라고 그들은 말합니다. 경쟁 연구소, 경쟁 국가. 그래서 우리가 앞장서는 편이 나을지도 모릅니다.

그 주장이 주장하는 바를 주목하라. 성냥을 누가 쥐고 있는가. 그것은 전체 위험을 인정하면서도 다른 누군가가 먼저 달릴지 모른다는 이유로 어쨌든 달려드는 것이다. 같은 논리를 다른 상상할 수 없는 무기에 적용해 보라. 적이 그럴지 모르니 생물무기를 공개적으로 시험해야 한다고 말하는 논리가 얼마나 공허한지 들릴 것이다. "누군가 이탈할지 모른다"는 대응은 결코 "그러니 우리 모두 이탈하자"가 아니었다. 모두가 지켜지고 있음을 볼 수 있는 규칙을 만드는 것이었다.

여기서 규칙은 사람들이 생각하는 것보다 더 집행 가능합니다. 최전선 시스템을 학습하려면 엄청나고 추적 가능한 양의 컴퓨팅 파워가 필요하며, 이를 제공하는 고급 칩은 소수의 식별 가능한 제조사에서 나옵니다. 그 공급망은 감시하고, 수를 세고, 상한을 둘 수 있습니다. 그래서 진지한 거버넌스 제안은 이제 컴퓨트 임계값, 하드웨어 추적, 사찰에 초점을 맞춥니다. 이것이 경주에서 벗어나는 출구이며 우리의 계획: 모두가 자제를 선택하기를 바라는 것이 아니라, 검증과 결과가 있는 조약으로 자제를 강제된 기본값으로 만드는 것입니다. 경쟁은 조정 실패이지 자연법칙이 아니며, 조정 실패는 인류가 때때로 해결하는 종류의 문제입니다. 이를 불가피하게 느끼게 만드는 역학은 그 자체로 이해할 가치가 있으며, 이에 대해서는 경쟁 역학에 대한 글.

우리는 이전에 선을 지켜왔습니다

인류가 만들 수 있는 것은 무엇이든 만든다는 생각은 우리가 하는 이야기일 뿐, 실제로 해온 일의 기록은 아닙니다. 기록은 훨씬 더 고무적입니다.

그 어떤 체제도 완벽하지 않으며, 과학 전체를 멈추려 한 적도 없습니다. 각각은 더 좁고 어려운 일을 했습니다. 특정하고 용납할 수 없는 한 가지에 선을 긋고, 불완전하고 고르지 않게라도 그 선을 지켜 최악의 경우가 일어나지 않도록 했습니다. 1975년 아실로마의 생물학자들은 재조합 DNA 연구가 위험에 대한 이해를 앞지르고 있다고 판단하고 안전장치가 마련될 때까지 일부 연구를 자발적으로 중단했습니다. 최전선에 가장 가까운 사람들이 자제를 요구한 것입니다. 이 역사는 이것이 가능하다는 주장. 이것이 보여주는 것은 쉬움에 대한 지지가 아닙니다. 실제로 선이 그어졌다는 점과, 우리가 이보다 훨씬 추상적인 위험에 대해서도 선을 그어왔다는 점을 상기시킵니다.

재단의 창립 헌신

이 재단이 하는 대부분의 일(글쓰기, 정책, 연합 구축)은 단 한 문장으로 돌아갑니다. 인류는 통제할 수 없는 초지능을 만들어서는 안 되며, 지금은 통제할 수 없습니다. 나머지는 모두 실행에 관한 것입니다.

이 요구가 처음 듣는 사람에게 어떻게 들릴지 압니다. 절대적이고, 다소 과격해 보입니다. 그러나 이에 가까운 발언을 한 사람들을 보십시오. 현대 인공지능을 구축한 연구자들은 인공지능으로 인한 인류 멸종 위험이 팬데믹이나 핵전쟁과 동등한 수준으로 다뤄져야 한다는 공개 성명에 이름을 올렸습니다. 제프리 힌튼은 이 문제를 판단할 자격을 가진 누구보다도 신뢰할 만한 인물로서, 인공지능이 금세기 내에 인류 멸종을 초래할 확률을 10~20%로 보고 있습니다. 2025년 수백 명의 과학자와 공인들이, 광범위한 과학적 합의와 강력한 대중 지지가 있을 때까지 초지능 개발을 금지하라는 성명에 서명했습니다. 기술을 가장 잘 이해하는 사람들 중 점점 더 많은 이들이 솔직하게 말할 때 같은 결론에 이릅니다. 재단이 특별한 점은 업계 밖에서, 답변에 급여가 걸려 있지 않은 상태로 말한다는 것입니다.

인류 이야기를 끝낼 확률이 10~20퍼센트라면 더 빠른 제품 주기를 위해 받아들일 위험이 아닙니다. 당신은 그런 확률로 비행기에 타지 않을 것입니다. 자녀도 타게 하지 않을 것입니다. 우리는 모두에게 그 비행기를 타라고 요구받고 있습니다. 그 제안에 대한 올바른 대답은 아니요입니다. 그것은 우리가 공개적으로 긋고, 다른 것들을 지켜온 방식으로 지키는 선이며, 우리가 거부한 것이 틀렸다는 것을 누군가 증명할 수 있는 날이 온다면 그때까지입니다.

도구를 만드세요. 질병을 치료하세요. 좁은 인공지능이 이미 건네주는 좋은 미래를 받아들이세요. 우리를 능가하고 대체하려는 자율적 마음이 경계선입니다. 이를 지키세요.