지지자들을 위한 요점

인공지능은 수십 년 동안 과장되어 왔습니다. 이번에도 또 다른 공포 이야기일 뿐입니다.

우려는 외부인들의 과대선전이 아니라 의 경고입니다 그것을 만든 사람들. 현대 AI를 만든 제프리 힌튼과 요슈아 벤지오는 노벨상을 받았으며, 둘 다 위험을 경고하고 있습니다. 기술의 발명가들이 실존적 위험을 말할 때, 그것은 공포 이야기가 아니라 일차 자료에 기반한 기술적 평가입니다.

무언가 잘못되면 그냥 끄면 된다.

목표를 추구할 수 있는 시스템은 종료가 그 목표를 막는다는 것을 인식합니다. 따라서 악의 때문이 아니라 거의 모든 목적에 대해 저항이 합리적이기 때문에 종료에 저항할 것입니다. 이를 도구적 수렴, 여러 연구자들이 독립적으로 확인한 사실입니다. 초지능 시스템은 밀리초 단위로 행동할 수 있습니다. "끄기"는 우리가 문제를 인식할 시간과 행동할 능력이 있다고 가정합니다. 둘 다 보장되지 않습니다.

우리가 속도를 늦추면 중국이 인공지능 경주에서 이긴다.

이 틀은 경쟁에 승자가 있다고 가정합니다. 그렇지 않습니다. 어떤 국가나 기업도 소유하거나 통제하다 인류 집단 추론을 능가하는 지능입니다. 정렬되지 않은 초지능은 미국의 이익보다 중국의 이익을 더 섬기지 않을 것입니다. 공유된 위험은 실존적이며, 따라서 일방적 속도가 아니라 국제적 조율이 올바른 전략입니다. 우리는 냉전 시기 핵무기 문제에서 USSR과 조율했습니다. 선례는 존재합니다.

우리는 초지능이 도래하기 전에 정렬을 해결할 것이다.

우리는 몇 분 만에 조작될 수 있는 오늘날의 챗봇조차 신뢰할 수 있게 정렬하지 못한다. 정렬 문제는 어떤 규모에서도 검증된 해결책이 없습니다. 현재 안전 방법은 이제 몇 년이 아닌 몇 달 만에 도래하는 능력 향상을 따라가지 못하고 있습니다. 수십억 배 더 유능한 시스템을 정렬할 것이라고 주장하는 것은 희망이지 확신이 아닙니다. 거버넌스는 정렬을 해결할 필요가 없습니다. 정렬이 해결될 때까지 배치를 늦추는 것이 필요합니다.

정부는 기술을 규제할 수 없다. 그저 혁신을 억누를 뿐이다.

정부는 항공, 의약품, 원자력, 금융 시스템 등 모든 복잡한 기술을 규제합니다. 문제는 규제 여부가 아니라 어떻게 그리고 언제. 의약품 규제는 의약품을 없애지 않았고, 안전하게 만들었습니다. 고위험 기술을 규제한 전례는 광범위하고 대체로 성공적이었습니다. AI 안전 규제는 가장 위험한 최전선 시스템을 대상으로 하며, 일반적인 AI 개발을 대상으로 하지 않습니다. 혁신과 안전은 충돌하지 않습니다.