간단한 테스트가 있습니다. 오늘날 이용 가능한 어떤 인공지능 시스템이든 밀폐된 방에 당신을 가두고, 천장의 HVAC를 그 통제 아래 두고, 그 시스템을 독가스 탱크에 연결한 뒤 밸브를 열지 않을 것이라고 믿겠습니까? 물론 아닙니다. 백만 달러와 안전 백서를 받아도 하지 않을 것입니다. 모델이 채팅 벤치마크에서 좋은 점수를 받았기 때문에 하지 않을 것입니다. 회사가 마케팅 PDF에서 시스템이 도움이 되고 무해하다고 말했기 때문에 하지 않을 것입니다.
지루한 이유로 거부하는 겁니다. 당신은 기계에 삶에 대한 단 하나의 되돌릴 수 없는 통제권을 맡기지 않습니다. 그 거부가 제정신입니다. 그것을 붙들고 있으세요.
이제 방 규모를 키워라
세상은 더 큰 방이다. 레버는 에너지망, 시장, 무기망, 생물 실험실, 물류, 그리고 이미 일상생활 위에 놓인 소프트웨어 계층이지 소품 탱크가 아니다. 우리는 분기마다 레버를 당기는 데 더 능숙해지는 시스템을 만들고 있으며, 매년 더 많은 레버를 소프트웨어에 연결하고 있다.
오늘날의 모델을 한 방의 밸브 하나에 맡길 수 없다면, 내일의 모델을 모든 밸브에 맡기는 것을 왜 신뢰하는가? 흔한 대답은 부드럽다. "더 많이 테스트할 것이다." "인간을 루프에 남겨 둘 것이다." "그때는 정렬되어 있을 것이다." 그것들은 희망이다. 작은 테스트와 큰 테스트가 반대 답을 받아야 하는 이유가 아니다.
밸브를 넘기지 않을 거라면, 세상을 넘기지도 마세요.
정직성 격차
이 시스템을 다루는 사람들은 신중한 표현로, 일정 능력 수준을 넘어서면 통제를 보장할 방법을 모른다고 인정하곤 한다. 그 뒤로도 제품 로드맵은 이어진다. 사적인 신중함과 공적인 배포 사이의 간극이 문제를 축소해 보여주는 전부다.
저는 여러분이 하룻밤 사이에 엔지니어가 되기를 요구하지 않습니다. 구체적인 상황에서 이미 가지고 있는 판단력을 유지해 달라는 요청입니다. 잠긴 방과 가스 밸브는 위험을 분명하게 만듭니다. 초지능은 더 나쁜 확률과 리셋 버튼이 없는 같은 형태입니다.
그렇다면 공개적으로 물어보십시오. 현재 어떤 모델에게도 그 밸브를 맡기겠습니까? 답이 아니오라면, 문명을 맡기는 데에도 투표하거나 자금을 대거나 어깨를 으쓱하며 신뢰하지 마십시오. 일관된 답은 당신을 살리는 것입니다. 함께 방에 갇히고 싶지 않은 시스템을 만들지 마십시오.