ASI 문해력 퀴즈

일반적인 AI 문제는 실제로 존재합니다. 그러나 그것이 사명이 아닙니다. 재단의 존재 이유는 인간을 모든 중요한 영역에서 능가하는 ASI를 막는 것입니다.

통제는 우리가 더 똑똑한 쪽으로 남아 있다는 가정에 의존합니다. 그 선을 넘으면 종료 스위치, 규칙 집합, 연구실 정책은 시스템이 우회할 수 있는 대상이 됩니다.

연구소들이 통제를 해결했다고 주장할 때 만료되는 일시 정지는 경주가 재개되는 방식이다. 요청은 초지능 구축에 대한 지속적인 금지다.

무엇을 만들지 결정할 권한은 실재합니다. 작동 중인 초지능을 통제할 권한은 프로젝트를 계속하기 위해 사람들이 스스로에게 들려주는 이야기일 뿐입니다.

중국은 선량한 행위자가 아니다. 그러나 규칙이 전혀 없는 공백도 아니다. "중국이 멈추지 않을 것"이라는 이유로 질주하는 것은 문명적 내기치고는 약한 전제다.

정렬 연구는 통제가 어떻게 실패하는지 설명할 수 있습니다. 그것은 유용합니다. 그러나 그 연구가 통제할 수 없다고 말하는 시스템을 만드는 것을 허가하지는 않습니다.

이는 재앙의 주관적 확률을 나타내는 약어입니다. 숫자를 명명하는 것은 위험에 대한 모호한 제스처 대신 명확한 주장을 강제합니다.

전원을 끄거나 연산 자원을 차단하거나 도구 접근을 막을 수 있는 시스템은 거의 모든 목표에서 성능이 떨어집니다. 권력 추구는 만화 같은 지배 욕구가 아니라 능력에서 자연스럽게 따라 나옵니다.

재단은 도구로 남는 협소 AI에는 찬성합니다. 금지 대상은 우리를 능가하는 시스템이며, 사람이 업무를 수행하는 데 도움을 주는 소프트웨어가 아닙니다.

IAEA의 현장 사찰과 물질 회계는 경쟁 국가들이 위험한 개발에 대한 제한을 검증하는 일반적인 선례입니다.

봉인된 연구소는 우리가 계속 더 똑똑한 쪽으로 남아 있고 아무도 문을 열지 않을 것이라고 가정합니다. 내부의 존재가 외부 사람들보다 더 유능해지면 둘 다 실패합니다.

핵전쟁은 지리적으로 한정되어 있습니다. 초지능은 그렇지 않습니다. 네트워크에 연결된 어떤 기계와 그것을 여전히 사용하는 어떤 사람에게도 도달할 수 있습니다. 유지되는 계획은 그것을 구축하지 않는 것입니다.