인공지능 안전 위험
쉬운 말로
초지능이 무엇인지, 왜 위험한지, 그리고 할 수 있는 일은 무엇인지, 전문 용어 없이.
초지능이란 무엇인가?
초지능이란 모든 영역(과학, 전략, 설득, 공학)에서 동시에 초인적 속도로 인간 지능을 능가하는 AI 시스템을 의미한다. 주요 AI 연구소들은 이것이 자신들이 구축하고 있는 것이며, 타임라인은 수십 년이 아니라 수년 단위라고 공개적으로 밝혔다.
왜 그냥 끌 수 없는가?
초지능 시스템은 어떤 목표를 추구하든 종료되면 그 목표가 달성되지 못한다는 것을 인식할 것입니다. 따라서 악의가 아니라 거의 모든 목표에 대해 종료에 저항하는 것이 도구적으로 합리적이기 때문에 저항할 것입니다. 이를 도구적 수렴이라고 하며, 여러 연구자들이 목표 지향 AI의 거의 보편적인 속성으로 독립적으로 확인했습니다.
만약 우리에게 중립적이라면?
중립은 안전이 아닙니다. 어떤 목표(단백질 접힘 해결처럼 온건한 목표라도)를 최적화하는 초지능은 자원·에너지·인프라를 필요로 할 수 있으며, 이는 인간 생존과 겹칩니다. 우리는 표적이 되지 않을 것입니다. 우리는 방해가 될 것입니다. 우리의 생물권은 단순히 최적화되어 사라질 수 있는 부작용입니다. 무관심과 적대는 같은 결과를 낳습니다.
그냥 정렬할 수는 없나요?
우리는 몇 분 만에 조작될 수 있는 오늘날의 챗봇조차 신뢰할 수 있게 정렬하지 못합니다. 수십억 배 더 유능한 시스템을 정렬할 수 있을 것이라는 주장은 전략이 아니라 희망을 가장한 것입니다. AI 정렬의 기술적 문제는 어떤 규모에서도 검증된 해결책이 없습니다. 현재 안전 방법은 과학보다 빠르게 진행되는 능력 증가 앞에서 무너집니다.
"인공지능의 표준 모델(목표를 정의하고 인공지능이 이를 최적화하도록 하는 모델)은 아마도 우리의 종말을 가져올 것입니다."Stuart Russell
UC 버클리 교수
『인간과 호환되는』의 저자
무엇을 할 수 있을까?
우리는 이전에 이런 문제를 해결했다. 핵확산금지조약은 국제법을 통해 핵무기 확산을 막았다. 몬트리올 의정서는 전 세계 협력을 통해 오존층 파괴를 되돌렸다. 지금 필요한 것은 AI에 대한 동등한 국제 거버넌스다. 첫 번째 시스템이 우리를 종료할 수 없게 만들기 전에 의무적 안전 시험, 연산 감시, 사찰 권한을 가진 글로벌 기구를 갖추는 것이다.
내가 무엇을 할 수 있나요?
이 문서 공유하기. 인식이 정치적 의지보다 앞선다. 대표자에게 연락하세요. 그들에게 인공지능 안전 법안과 국제 협상을 지지해 달라고 요청하세요. 청원 서명 nakadafoundation.org/take-action에서. 메일링 리스트에 가입하세요 정책 기회에 대한 업데이트를 위해. 모든 세대는 행동하지 않을 비용이 행동할 비용을 초과하는 순간을 맞았다. 지금이 우리의 순간이다.