Меня уже не раз называли doomer. Как и почти каждого, кто публично занимается AI safety. Лейбл появляется раньше аргумента. Ещё до того, как я успел сказать хоть слово о вероятностях, таймлайнах или том, что вообще значит «контроль», меня уже отнесли к bin: испуганные люди, которые хотят всё замедлить, потому что не справляются с будущим. Отнесли — и, значит, списали.

Интересно в «паникёре», что он выполняет задачу; грубость — это маска, а не причина.

Самый эффективный ход стороны акселерационистов почти не имеет отношения к тому, правы ли они.

Откуда взялось слово

Примерно в 2022–2023 годах дискуссия о безопасности ИИ перестала быть внутренним разговором исследователей и выплеснулась в социальные сети, где аргументы обрастают командами, а команды — названиями. Сторонники ускорения (те, кто считает, что ИИ нужно строить как можно быстрее) взяли суффикс «e/acc» как знак отличия и стали добавлять его в имена пользователей. Им понадобилось название и для противоположной стороны. Им стало «doomer», обычно в паре с «decel» — сокращением от deceleration, «грех» желания двигаться медленнее.

Настроения ужесточились в октябре, когда Марк Андриссен опубликовал «Манифест техно-оптимиста». Он читается не как аргумент, а как кредо, и содержит список того, что автор называет врагом; среди пунктов — «экзистенциальный риск» и «принцип предосторожности», то есть простая идея, что перед масштабным развёртыванием мощной технологии стоит её понять. Когда сама обеспокоенность попадает в категорию «враг», людям, которые её испытывают, остаётся лишь короткое ярлык для повседневного употребления. «Думер» справился с остальным.

Хочу быть справедливым к движению, из которого это выросло: под ним действительно есть аргумент, и мы подробно рассмотрели это в другом месте. Некоторые accelerationists выдвигают substantive claims: что прогресс был великой гуманитарной силой, что тяжёлое регулирование несёт свои опасности, что технологию познают, строя её. С ними стоит спорить. «Doomer» — это то, что используют вместо них, а не один из них.

Что на самом деле делает ярлык

Думер — это образ, а не довод. Он превращает аргумент в тип личности, а с типами личности не спорят, их только диагностируют.

Посмотрите, что на самом деле говорит сторона безопасности. Примерно следующее: вероятность катастрофы от сверхразумной системы достаточно высока (не обязательно стопроцентна, но достаточно высока), чтобы мы успели создать механизмы контроля до того, как сами системы будут построены. С этим можно спорить. Можно утверждать, что вероятность ниже, сроки длиннее, «контроль» — неверная рамка, а управление принесёт больше вреда, чем риск, который оно пытается снизить. Всё это реальный разговор, и некоторые его части стоит проиграть.

«Думер» пропускает это. Слово говорит: ты человек, который боится завтрашнего дня. Твоя позиция — настроение, а не тезис, а настроения не нуждаются в опровержении: старейший риторический приём, аргумент против человека, а не против сути, в новой одежде. Его изящество в том, что ему никогда не приходится касаться реального разногласия. Оно переносит весь спор из «верно ли это» в «какой человек в это верит», где акселерационист уже решил ответ.

Это слово превращает аргумент в тип личности, а типы личности не нужно оспаривать, их нужно только диагностировать.

Почему это работает

Этикетка работает, потому что она построена из вещей, в которые люди уже хотят верить о себе.

Начните с очевидного: никто не хочет быть пессимистом. Оптимизм воспринимается как уверенность и напор, а осторожность — как робость и страх. Если представить выбор как между создателем и алармистом, большинство людей уже знают, на какой стул они предпочли бы сесть. Рамка делает своё дело ещё до того, как на стол попадёт хоть один факт.

Она опирается и на нечто более глубокое — подлинную и во многом достойную историю, которую Америка рассказывает о себе. Прогресс — это хорошо. Те, кто боялся железной дороги, печатного станка, электрического света, ошибались, и история запомнила их как глупцов. Акселерационисты берут эту историю целиком и записывают сторонников безопасности в новый список испуганных людей, которых будущее поставит в неловкое положение. История сильна именно потому, что часто оказывается правдой. Ход заключается в том, чтобы без доказательств предположить, что на этот раз она снова верна, что сверхинтеллект — это печатный станок, а не нечто новое. Вопрос, является ли это той же историей, и есть главный вопрос, а ярлык существует, чтобы этот вопрос никогда не задавали.

Против кого направлено слово

Выстройте людей, в которых она направлена, и карикатура рассыпается в руках.

Джеффри Хинтон ушёл из Google в 2023 году, чтобы говорить о рисках без корпоративного надзирателя; он ближе всех к статусу основателя этой области. Йошуа Бенджио, один из самых цитируемых исследователей в мире, пришёл к той же тревоге из собственной работы. В мае 2023 года сотни учёных и руководителей (включая лидеров лабораторий, спешащих создать эту технологию) подписали одну фразу, поставив риск вымирания от ИИ в один ряд с пандемиями и ядерной войной. Они не боятся технологий. Они сами её создали. Как бы ни называть их позицию, «испуг перед будущим» — это не её описание, а способ не слушать её.

Слово также уплощает широкий спектр до точки. Огромная дистанция лежит между тем, кто считает катастрофу почти неизбежной, и тем, кто оценивает её в несколько процентов и всё равно хочет страховку, — дистанция между пророком и актуарием. Обоих записывают в думеры. Ярлык не видит разницы, потому что никогда не был для этого создан; его задача — представить техническую, разнообразную, часто вполне умеренную совокупность взглядов как одну дикую секту. Мы написали целую статью о настоящих диапазон оценок экспертов именно по этой причине. Диапазон — то, что ярлык призван стереть.

Признак

Вот к чему я постоянно возвращаюсь. Движение, уверенное в своём ответе на вопрос безопасности, не нуждалось бы в прозвище для тех, кто его задаёт.

Если катастрофический риск действительно близок к нулю, это утверждение можно защитить открыто. Покажите рассуждения. Объясните, почему исследователи, создавшие эти системы, ошибаются насчёт них. Докажите, что выравнивание на деле оказывается лёгким, или что больший интеллект неизменно приносит большую осторожность, или что гонка между лабораториями сама себя исправляет, прежде чем кто-то срежет роковой угол. Эти аргументы трудны, но они существуют, и когда их действительно выдвигают акселерационисты, мы сможем провести спор, которого мы пытались иметь в полном объёме.

Слово «doomer» заполняет место, где должен был быть аргумент. К ярлыку прибегают, когда не хотят разбирать суть. Назвать оппонента дешевле, чем опровергнуть его, и со стороны это выглядит как победа — настолько, что толпа часто не понимает, что именно только что увидела.

Как на это ответить

Откажитесь от рамки. Как только разговор становится «строитель против doom’ера», суть уже ушла из комнаты. Верните его на уровень сути одним вопросом: какую вероятность вы приписываете катастрофическому риску и почему именно эту цифру? Почти никто, кто размахивает словом как оружием, ответить не может, потому что слово и существует, чтобы не приходилось отвечать. Если хотите увидеть, как такая цифра строится, а не просто утверждается, мы сделали P(doom) калькулятор который разбирает все составляющие.

Затем снимите ярлык с утверждения. "Думер" приклеивает карикатуру (мрачного пессимиста, ненавидящего прогресс) к утверждению, которое обычно гораздо уже и гораздо скучнее: что эта конкретная технология несёт конкретный риск, требующий конкретной осторожности. Разведите их. Можно любить технологии, желать изобилия, о котором говорят акселерационисты, верить, что будущее может быть extraordinary, и при этом считать, что мы должны уметь управлять суперинтеллектом, прежде чем его включать. Это не противоположные позиции аргументы за хорошее будущее проходит прямо через правильное решение этой части, а не в обход.

Я не думаю, что большинство людей, использующих это слово, спорят недобросовестно. Формулировка действительно соблазнительна, и уверенность легко спутать с правильностью, особенно когда она идёт вместе с хорошей историей. Но когда самый сильный ход, который движение может сделать против критиков, — это дать им нелестное название, это говорит кое-что о почве, на которой оно стоит. Наш случай не строится на страхе и не строится на ненависти к прогрессу. Она строится на одном прочном, непоказном проявлении благоразумия: перед ошибкой, которую нельзя исправить, сначала создают тормоза.