저는 셀 수 없이 많은 번 '둠러'라고 불렸습니다. 공개적으로 AI 안전을 다루는 거의 모든 사람도 마찬가지입니다. 그 꼬리표는 논증보다 먼저 도착합니다. 확률이나 타임라인, '통제'가 무엇을 의미하는지에 대해 한마디도 하기 전에, 저는 이미 겁먹은 사람들, 미래를 감당하지 못해 속도를 늦추려는 사람들로 분류됐습니다. 분류됐고, 따라서 무시됐습니다.

"doomer"에 대한 흥미로운 점은 그것이 역할을 수행하고 있다는 것입니다. 무례함은 원인이 아니라 의상입니다.

가속주의 진영이 가장 효과적으로 쓴 수단은 그들이 옳은지 여부와 거의 아무런 관련이 없습니다.

그 단어가 유래한 곳

2022년과 2023년경 인공지능 안전 논쟁은 연구자들 사이의 내부 대화에서 벗어나 소셜 미디어로 퍼졌고, 그곳에서 주장은 진영을 만들고 진영은 이름을 얻었습니다. 가속주의 진영(인공지능을 최대한 빨리 만들어야 한다고 믿는 사람들)은 접미사 "e/acc"를 상징으로 삼아 사용자 이름에 달았습니다. 그들은 반대 진영에도 이름이 필요했습니다. "둠러"가 그것이었고, 보통 "디셀"과 함께 쓰였습니다. 감속, 즉 더 천천히 가려는 죄를 뜻합니다.

그해 10월 마크 안드레센이 "기술 낙관주의 선언"을 발표하면서 분위기가 굳어졌다. 이 글은 논증이라기보다는 신조에 가깝고, "적"이라고 부르는 목록에 "실존적 위험"과 "예방 원칙"이 포함되어 있다. 강력한 기술을 대규모로 배포하기 전에 이해하고 싶다는 지극히 평범한 생각이다. 우려 자체가 "적"으로 분류되면, 그것을 가진 사람들에게는 일상적으로 쓸 짧은 꼬리표만 있으면 된다. "둠어"가 그 역할을 했다.

그 운동이 나온 배경에 공정하게 접근하고 싶다. 그 밑바탕에는 실질적인 주장이 있고, 우리는 다른 곳에서 길게 진지하게 다루었습니다. 일부 가속주의자들은 실질적인 주장을 합니다. 진보가 위대한 인도주의적 힘이었다는 것, 과도한 규제가 자체 위험을 수반한다는 것, 기술은 만들면서 배운다는 것. 이것들은 논의할 가치가 있습니다. "둠어"는 그 대신 쓰이는 말이지, 그중 하나가 아닙니다.

그 라벨이 실제로 하는 일

둠러는 주장이 아니라 캐릭터입니다. 논쟁을 성격 유형으로 바꾸며, 성격 유형은 답할 필요 없이 진단만 받으면 됩니다.

안전 측이 실제로 말하는 내용을 살펴보십시오. 대략 다음과 같습니다. 초지능 시스템으로 인한 재앙 가능성은 충분히 높기 때문에(확실하지는 않지만 충분히 높기 때문에), 시스템을 만들기 전에 이를 통제할 능력을 먼저 갖춰야 한다는 것입니다. 이 주장의 모든 부분에 이의를 제기할 수 있습니다. 확률이 생각보다 낮다고, 시간이 더 길다고, '통제'라는 틀이 잘못됐다고, 거버넌스가 다루려는 위험보다 더 큰 해를 초래할 것이라고 주장할 수 있습니다. 이 모든 것은 진지한 대화이며, 그중 일부는 지는 편이 나을 수도 있는 대화입니다.

"둠어"는 그것을 건너뜁니다. 그 말은 당신이 내일을 두려워하는 부류의 사람이라고 말합니다. 당신의 입장은 논지가 아니라 기분이며, 기분은 반박할 필요가 없다는 것입니다. 이는 수사학에서 가장 오래된 수법, 즉 요점이 아니라 사람을 공격하는 논증을 새 옷을 입힌 것입니다. 그 우아함은 실제 불일치에 결코 손을 대지 않아도 된다는 점입니다. 싸움 전체를 "이게 사실인가"에서 "이걸 믿는 사람은 어떤 사람인가"로 옮기며, 가속주의자는 이미 답을 정해 놓았습니다.

그 단어는 주장을 성격 유형으로 바꾸며, 성격 유형은 대답할 필요 없이 진단만 하면 된다.

왜 효과가 있는가

그 라벨이 효과를 보는 이유는 사람들이 이미 자신에 대해 믿고 싶어 하는 것들로 만들어졌기 때문이다.

명백한 것부터 시작하십시오. 아무도 비관주의자가 되고 싶어하지 않습니다. 낙관주의는 자신감과 추진력으로 읽히고, 신중함은 소심함과 두려움으로 읽힙니다. 선택을 건설자 대 파멸론자로 규정하면 대부분의 사람들은 이미 어느 자리에 앉고 싶은지 압니다. 그 규정은 단 하나의 사실이 테이블에 오르기 전에 이미 역할을 다했습니다.

그것은 더 깊은 무언가, 즉 미국이 스스로에 대해 말하는 진정하고 대체로 명예로운 이야기에도 의존한다. 진보는 좋다. 철도, 인쇄기, 전등을 두려워했던 사람들은 틀렸고, 역사는 그들을 바보로 기억한다. 가속주의자들은 그 이야기를 통째로 꺼내 안전 옹호자를 미래에 당황할 겁쟁이들의 최신 이름으로 규정한다. 그것은 종종 사실이기 때문에 강력한 이야기다. 이 움직임은 논쟁 없이 이번에도 사실이라고 가정하는 것이며, 초지능이 인쇄기가 아니라 새로운 무언가라고 가정하는 것이다. 그것이 같은 이야기인지는 전체 질문이며, 그 꼬리표는 질문이 결코 제기되지 않도록 존재한다.

그 말이 겨냥하는 대상

그 비유를 적용받는 사람들을 줄 세워 보면 과장된 표현은 손에서 무너져 내린다.

제프리 힌튼은 기업 감시자 없이 위험에 대해 말할 수 있도록 2023년 Google를 떠났으며, 그는 이 분야의 창립자급 인물에 가장 가깝다. 생존 연구자 중 가장 많이 인용되는 요슈아 벤지오는 자신의 연구에서 같은 우려에 도달했다. 2023년 5월 수백 명의 과학자와 경영자(기술을 구축하기 위해 질주하는 연구소 책임자 포함)가 인공지능으로 인한 멸종 위험을 팬데믹 및 핵전쟁과 같은 범주에 놓는 한 문장에 이름을 올렸다. 그들은 기술을 두려워하지 않는다. 그들이 이 기술을 만들었다. 그들의 입장을 뭐라고 부르든, "미래를 두려워한다"는 것은 그 입장을 설명하는 것이 아니라 듣지 않으려는 방식이다.

그 말은 또한 넓은 스펙트럼을 한 점으로 평평하게 만듭니다. 재앙이 거의 확실하다고 생각하는 사람과 몇 퍼센트로 보고 어쨌든 보험을 들고 싶은 사람 사이에는 예언자와 보험계리사 사이만큼이나 큰 거리가 있습니다. 둘 다 둠어로 분류됩니다. 그 꼬리표는 차이를 볼 수 없습니다. 애초에 그렇게 만들어지지 않았기 때문입니다. 그 임무는 기술적이고 다양하며 종종 상당히 온건한 견해 집합을 하나의 극단적 컬트처럼 보이게 만드는 것입니다. 우리는 실제 전문가 추정 범위 바로 이 이유 때문에. 그 범위가 라벨이 지우도록 설계된 것이다.

그 암시

내가 계속 돌아오는 점은 이것입니다. 안전 문제에 대한 답을 자신 있게 가진 운동이라면, 그 질문을 하는 사람들에게 별명을 붙일 필요가 없을 것입니다.

만약 파국적 위험이 정말로 거의 0에 가깝다면, 그것은 공개적으로 방어할 수 있는 주장이다. 추론을 보여라. 시스템을 만든 연구자들이 자신이 만든 시스템에 대해 틀렸다고 설명하라. 정렬이 결국 쉽다는 주장, 더 큰 지능이 더 큰 배려를 확실히 가져온다는 주장, 또는 연구소 간 경쟁이 누군가 치명적인 실수를 저지르기 전에 스스로 교정한다는 주장을 펼쳐라. 그것들은 어려운 주장들이지만 존재하며, 가속주의자들이 실제로 그것들을 제시할 때 우리는 우리가 완전히 가지려고 노력했다.

"둠어"라는 말은 그 주장이 들어갈 자리를 채운다. 상대의 논점을 다루기 싫을 때 라벨을 잡는다. 상대를 이름 붙이는 것은 반박하는 것보다 싸고, 멀리서 보면 승리처럼 보이기 때문에 군중은 방금 본 것이 무엇인지 종종 구분하지 못한다.

그에 답하는 방법

틀 자체를 거부하십시오. 대화가 건설자 대 파멸론자가 되는 순간 실질은 이미 사라집니다. 한 가지 질문으로 다시 사물 수준으로 끌어오십시오. 당신은 재앙적 위험에 어떤 확률을 부여하고 있으며 그 숫자의 근거는 무엇입니까? '파멸'이라는 단어를 무기로 휘두르는 거의 누구도 답하지 못합니다. 그 단어가 있기 때문에 답할 필요가 없었기 때문입니다. 그런 숫자가 실제로 어떻게 만들어지는지 보고 싶다면 우리가 만든 P(doom) 계산기 조각들을 살펴보는.

그런 다음 주장에서 꼬리표를 떼어내라. "둠러"는 (진보를 증오하는 우울에 빠진 비관론자라는) 희화화를 보통 훨씬 더 좁고 훨씬 더 평범한 주장 위에 붙인다. 즉, 이 특정 기술이 특별한 주의를 요하는 특정 위험을 수반한다는 것이다. 둘을 분리하라. 기술을 사랑하고, 가속주의자들이 묘사하는 풍요를 원하며, 미래가 비범할 수 있다고 믿으면서도 초지능을 켜기 전에 그것을 조종할 수 있어야 한다고 생각할 수 있다. 그 둘은 상반되는 입장이 아니다 좋은 미래를 위한 주장 이 부분을 제대로 해결하는 길을 곧장 통과하며, 우회하지 않는다.

대부분의 사람들이 이 단어를 사용하는 것이 악의적인 의도는 아니라고 생각한다. 그 프레임은 진정으로 매혹적이며, 특히 좋은 이야기가 따라올 때 자신감은 정확성과 혼동되기 쉽다. 그러나 운동이 비판자들에게 할 수 있는 가장 강력한 대응이 그들에게 불쾌한 이름을 붙여주는 것이라면, 그것은 그 운동이 서 있는 기반에 대해 말해준다. 우리의 경우 는 두려움으로 움직이지 않고 진보를 증오하며 움직이지도 않습니다. 그것은 단 하나의 견고하고 평범한 신중함으로 움직입니다. 되돌릴 수 없는 실수에는 먼저 제동 장치를 마련하라는 것입니다.