6월 30일 워싱턴에서 열린 기술 정상회의에서 CIA 국장 존 래트클리프는 자신의 직책에 있는 사람이 공개적으로 꺼내기 어려운 발언을 남겼습니다. 그는 오늘날 최전선 AI 모델에 대해 "그 능력을 디지털 핵무기에 비유해도 어긋나지 않는다"고 말했습니다. 그는 안전 운동가도, 논문을 팔려는 학자도 아닙니다. 정보기관을 이끄는 사람입니다. 그가 꺼낸 말은 그 자리에 있는 사람이 공개적으로 할 수 있는 가장 무거운 표현에 가까웠습니다.
그만이 아닙니다. 3월에 당시 국가정보국장 툴시 가바드는 인간이 이 시스템을 통제해야 한다고 증언했습니다. NSA 국장은 상원의원들에게 Anthropic의 미토스 모델이 기관의 기밀 시스템 거의 전부를 몇 시간 만에 침입했다 승인된 테스트 중에. 최근 몇 주 동안 Five Eyes의 사이버보안 책임자들이 드문 공동 성명을 발표하며 우리가 "지금 행동해야 한다"고 경고했습니다. 기밀 트래픽을 읽는 사람들이 공개적으로 이렇게 말하기 시작할 때, 귀를 기울일 가치가 있습니다.
은유가 성립하는 곳
핵무기는 세계가 "기술이 도달할 수 있는 위험의 척도"로 사용하는 기준입니다. 인공지능을 디지털 버전이라고 부르는 것은 이 도구들이 이제 국가와 탄두가 필요했던 규모의 피해를 줄 수 있음을 의미합니다. 치명적인 사이버 침입이나 병원체 설계에 대한 실질적인 도움입니다. 그 점에서 Ratcliffe는 옳았고, 현직 정보국장이 공개 연설에서 말한 것 자체가 뉴스입니다.
그것이 무너지는 곳
이 비교는 위안을 밀반입합니다. 핵무기는 한 가지 자비로운 속성을 지니기 때문입니다. 핵무기는 결코 아무것도 결정하지 않습니다. 탄두는 사일로에 앉아 기다립니다. 목표가 없습니다. 인간이 두 개의 열쇠를 돌릴 때까지 정확히 아무것도 하지 않습니다. 사령 계통부터 군비 통제 조약에 이르기까지 우리가 폭탄 주위에 구축한 모든 안전장치는 무기가 인간의 손에 남아 있기 때문에 작동합니다.
오늘날의 시스템은 이미 목표를 추구하는 에이전트로 행동하며, 그것이 향하는 단계인 인공 초지능은 그것을 만든 사람들보다 더 유능한 에이전트가 될 것입니다. 초지능은 폭탄이 어디로 가는지 결정하는 지휘관에 더 가깝습니다. 다만 어떤 인간도 그것을 임명하지 않았고 어떤 인간도 지휘권을 박탈하다.
핵무기는 결코 스스로 목표를 선택하지 않는다.
프론티어 AI는 그 범위에서 디지털 핵무기와 같습니다. 그것이 이끄는 시스템은 스스로 조준하는 무기가 될 것입니다. 우리는 그 위험을 이전의 위험들과 비교합니다 다른 곳에서 자세히, 그리고 초지능이 바로 이 때문에 가장 앞서 나옵니다.
핵 시대의 두 번째 과제
"디지털 핵무기"라는 표현의 강점은 국가안보 내부에서 나온 말이라는 점이다. 위험은 우리가 그것을 듣고 폭탄을 상상하며 폭탄이 허용하는 모든 것(보호·계수·최악의 경우 사일로에 그대로 두는 것)에서 잘못된 안도감을 얻는 것이다. 초지능은 그런 선택지를 제공하지 않는다.
핵 시대에는 두 번째 교훈이 있으며 지금 중요한 것은 바로 그것입니다. 우리가 무기를 만든 후 우리는 그것이 다시는 사용되지 않도록 보장하기 위해 수십 년 동안 조약을 구축했습니다. 예방, 검증 및 군비 통제의 그 인내심 있는 구조가 냉전의 진정한 유산입니다. 우리의 버전은 이제 막 시작되었으며 이번에는 사실 이후에 구축할 기회가 없다는 차이가 있습니다. 스스로 조준할 수 있는 무기는 존재한 후에 억제되는 것이 아니라 존재하기 전에 방지되어야 합니다. 그것은 우리의 계획.