초지능 경쟁의 승자는 무엇을 손에 넣는가? AI를 만드는 사람들로 가득한 방에서 대화는 그 질문을 지나쳐 버린다. 누군가는 어차피 만들 테니 우리가 하는 게 낫다는 식이다. 위험, 타임라인, 제작자보다 똑똑한 시스템을 통제하는 방법: 이 모든 것은 날씨 이야기처럼 치워진다. 우리는 멈출 수 없다. 경쟁이 있으니까.
저는 이제 경쟁 자체가 논의할 가치가 있는 주제라고 생각합니다. 거의 아무도 논의하지 않기 때문입니다. 경쟁을 자연의 사실처럼 받아들이면 그 뒤에 이어지는 모든 무모한 선택이 책임 있는 일처럼 보이기 시작합니다. 날씨는 소수의 기업이 의도적으로 내리는 선택을 설명하는 모델이 아닙니다.
경주가 무엇을 위한 것인가
경주는 끝에 상이 있는 경쟁이며, 그 상이 경주를 하는 이유다. 1960년대 우주 경쟁은 달 위의 깃발과 그에 따른 명성을 가져왔다. 핵무기 경쟁은 무기를 가져온다. 폭탄을 만든 국가는 폭탄을 보유하고, 조준하며, 사용 여부를 결정한다. 모든 경우 승자는 결국 자신이 소유하고 명령할 수 있는 능력을 손에 넣는다.
이제 초지능 경쟁 끝에 승자가 무엇을 쥐고 있는지 물어보라. 위험의 전제 전체는 우리보다 의미 있게 똑똑한 시스템이 누구의 손에 들린 도구가 아니라는 것이다. 인공 초지능은 목표를 추구하는 행위자다. 그 목표가 우리의 목표와 조금이라도 어긋난다면 (우리가 해결하지 못했다), 제작자가 승인하든 말든 추구합니다. "승리"한 연구소는 초지능을 소유하지 않습니다. 통제할 수 없는 초지능과 행성을 공유하게 됩니다.
결승선이 상이라면 경주를 이길 가치가 있다. 여기서 결승선은 아무도 통제할 수 있음을 보여주지 못한 시스템이다. 먼저 도착한다고 해서 권력을 쥐는 것이 아니라, 그 시스템에 가장 먼저 답해야 하는 처지가 된다.
아무도 조종할 수 없는 결승선은 상이 아니다. 가장 먼저 도착하는 것은 다른 모두보다 한 걸음 앞서서 지는 것이다.
계속 듣는 그 격차
이론과 경쟁 서사를 걷어내면 그 주장은 하나의 구체적인 주장에 달려 있습니다. 중국이 가깝고, 중국은 멈추지 않을 것이며, 따라서 우리도 멈출 수 없다는 것입니다. 그 주장은 모든 회의를 끝내고, 검토되는 것보다 훨씬 더 자주 단언됩니다.
사실 부분부터 시작하자. 미국과 중국 연구소 사이에 실제 경쟁이 있고, 칩과 연산을 둘러싼 실제 산업 경쟁이 있다. 가장 앞선 인공지능 칩에 대한 미국의 수출 통제가 존재하는 것은 바로 그 경쟁이 실재하기 때문이다. 그 어느 것도 신화가 아니며, 나는 그것을 신화인 척하고 싶지 않다 그 통제의 정치 그리고 실제로 협력이 이루어진 곳 이 슬로건보다 더 중요합니다.
슬로건이 몰래 들여오는 것을 보십시오. "우리가 무엇을 하든 중국은 통제 불가능한 초지능을 구축할 것"이라는 말은 중국이 말하거나 한 어떤 것도 설명하지 않습니다. 그것은 예측이며, 편리한 예측입니다. 화자가 이미 하고 싶었던 일을 할 수 있게 허가하기 때문입니다. 중국은 2023년 AI 위험에 관한 블레츨리 선언에 서명했습니다. 자체 거버넌스 제안을 발표했습니다. 정부는 미국과 AI에 관한 직접 대화에 앉았습니다. 자국 지도부를 죽일 수 있는 시스템을 향해 질주하는 나라는, 지도자들이 우리보다 그 결과를 더 원한다는 증거 없이 단순히 가정하기에는 이상한 일입니다. 우리는 이 주장의 더 넓은 버전을 우리 사이트에서 분석합니다 중국 신화에 관한 페이지; 짧게 말하면 "그들은 어차피 할 것이다"는 그들의 의도가 아니라 우리 자신의 허가에 관한 이야기입니다.
정렬되지 않은 초지능이 구축한 쪽에 재앙이라면, 중국도 우리와 똑같은 이유로 그것을 만들지 않아야 합니다. 경쟁자라고 상이 있는 것도 아닙니다.
경쟁은 가장 신중하지 않은 쪽을 선택합니다
경쟁이 경쟁자들이 말하는 만큼 치열하다고 가정해 보십시오. 논리를 끝까지 따라가 보십시오. 경쟁에서는 가장 빠르게 움직이는 쪽이 이기며, 인공지능 최전선에서 가장 빠르게 움직이는 방법은 평가, 레드팀, 감독, 시스템이 생각하는 대로 작동하는지 확인하는 인내심 있는 작업 등 속도를 늦추는 일에 덜 시간을 쓰는 것입니다.
경쟁의 구조는 안전에서 가장 많은 모퉁이를 깎는 쪽에게 승리를 안겨줍니다. 승자는 가장 신중하지 않은 연구실이지 가장 유능한 곳이 아닙니다. "경쟁에서 이겨야 한다"와 "이것을 안전하게 만들어야 한다"는 반대 방향으로 당기며 경쟁이 치열할수록 그 당기는 힘은 더 세집니다. 우리는 이를 자세히 다룹니다 인공지능 경쟁 역학: 경쟁은 위험을 통제하지 않습니다. 위험을 만들어냅니다. 먼저 도달하기 위해 질주하는 연구소들로 가득한 세계는 모두를 죽음에 이르게 하는 바로 그 일을 막대한 에너지와 자본으로 최적화하는 세계입니다.
경주 논리 안에서조차 "우리가 이겨야 한다"는 말은 스스로를 무너뜨립니다. 이기기 위해 초지능을 통제 가능하게 만드는 모서리를 깎아야 한다면, 이기는 것이 곧 지는 길입니다.
이야기에서 누가 이득을 보는가
경쟁 구도가 이렇게 허약한데도 왜 곳곳에 퍼져 있을까? 경쟁 구도가 유용하기 때문이지만, 우리에게 유용한 건 아니다.
프론티어 연구소에게 "경쟁이 있고 우리가 이겨야 한다"는 거의 완벽한 문장이다. 투자자에게 지출이 거대한 무언가를 위한 땅따먹기임을 말한다. 규제 당국에게 규칙이 미래를 더 나쁜 행위자에게 넘겨줄 뿐이라고 말한다. 그리고 조용한 부분: 연구소 내부의 안전을 걱정하는 엔지니어들이 경쟁하는 것이 책임 있는 선택이라고 믿게 하며, 대안은 무모한 자들이 이기는 것이기 때문이다. 한 문장이 결코 말할 필요 없는 논증의 역할을 한다. (아직 통제할 수 없는 것을 계속 만드는) 결정을, 누구도, 특히 그것을 만드는 사람들조차 빠져나갈 수 없는 필연으로 바꾼다.
속임수를 지적합니다. 경쟁은 실험실에 외부에서 부과된 조건처럼 들립니다. 이는 소수의 기업과 이를 억제할 수 있는 정부가 계속 진행하기로 한 선택입니다. 일론 머스크는 AI를 악마라고 부른 뒤 더 빠르게 그것을 소환하기 위해 연구소를 건설했다, 이는 "경주"가 누군가 선택한 전략이지 누구나 따르는 물리 법칙이 아니라는 것을 말해줍니다. 전략은 더 이상 타당하지 않을 때 포기할 수 있습니다. 이 전략은 상금이 누구도 통제할 수 없는 시스템이라는 것이 드러난 순간 타당성을 잃었습니다.
결코 테이블에 오르지 않는 선택지
경쟁 틀이 조용히 시야에서 지우는 것이 무엇인지 주목하라. 그것은 두 개의 문을 제시한다. 경쟁하거나, 일방적으로 물러나서 무모한 자들이 미래를 물려받게 하거나. 그렇게 말하면 오직 바보만이 두 번째 문을 선택하고, 그 주장은 세 번째 문을 빼놓음으로써 이긴다.
세 번째 문은 진정한 적대국들이 과거에 이용한 길입니다. 미국과 소련은 모든 면에서 적대국이었으며, 서로의 도시에 세계를 끝장낼 무기를 겨누고 있었습니다. 그럼에도 양측은 군비 통제 협정에 서명하고 검증했습니다. 양측 모두 무한 경쟁이 양쪽을 똑같이 구속하는 규칙보다 더 나쁜 결과를 낳는다는 것을 알았기 때문입니다. 불신이 합의의 이유였지, 장애물이 아니었습니다.
초지능은 그러한 합의를 합리적으로 만드는 특징을 가지고 있습니다: 그 누구도 통제할 수 없는 시스템으로부터 주요 강대국이 이익을 얻지 못하므로, 주요 강대국은 그것을 먼저 구축하는 데 실질적인 관심이 없습니다. 그 공유된 관심은 조약이 서 있는 기반입니다: 초지능 개발에 대한 구속력 있고 검증 가능한 중단. 초지능cannot be controlled. ASI를 제품 범주로 영구 거부하는 것. 우리는 그러한 수단이 어떤 모습일지 개략적으로 그려 보았습니다 모델 조약 에게 더 넓은 계획 소속된 . 검증은 어렵고, 저는 그렇지 않다고 주장하지 않겠습니다. 핵무기의 경우에도 어려웠지만, 결국 구축되었습니다. 왜냐하면 테이블에 앉은 모두에게 대안이 받아들일 수 없었기 때문입니다.
"경주하거나 항복하거나"는 거짓 선택지다. 그 틀은 당신이 빠져나갈 문을 보지 못하게 만든다.
경쟁 거부
이야기를 벗겨내면 남는 것은 이것입니다. 소수의 연구소가 스스로 통제할 수 없다고 공개적으로 인정하는 기술을 구축하기로 선택하고, 경쟁 상대가 같은 나쁜 이유로 같은 무모한 선택을 하고 있다고 지적하며 정당화합니다. 각 측의 무모함이 상대방의 핑계로 제시됩니다.
이 모든 것은 경쟁이 상상 속의 것이거나 지정학이 온화하다고 믿을 필요가 없다. 단지 끝에 상이 없는 경쟁은 종을 잃을 만큼 가치가 없다는 점, 그리고 그것이 불가피하다고 말하는 사람들은 거의 항상 그로 인해 이득을 보는 사람들이라는 점을 알아차리기만 하면 된다. 경쟁은 이야기다. 훌륭하고, 산업 전체에 편리한 이야기. 이야기는 바로 믿기를 멈출 수 있는 종류의 것이다.