«Я оптимист. Человечество точно не вымрет. Такого ещё не случалось». Такую фразу слышишь после дискуссий по безопасности, в гримёрках и комментариях, обычно с улыбкой, которая должна закрыть тему. Улыбка выполняет реальную социальную работу. Она изображает осторожность как личностный дефект, а движение вперёд — как эмоциональное здоровье. Заодно она протаскивает утверждение о риске под видом настроения.
Оптимизм допустим. Недопустимо, если мы всё ещё занимаемся серьёзной работой, принимать темперамент за доказательство.
Что на самом деле означает «никогда раньше не случалось»
Вымирание человечества по определению не имеет человеческих свидетелей после себя. Каждый живущий человек выборочно видит только те timelines, где вид продолжился. Это отбор, а не философия: победитель лотереи — плохой источник сведений о шансах на выигрыш, а «я никогда не погибал в автокатастрофе» — слабый аргумент против ремней безопасности.
Летопись окаменелостей не знает сантиментов. Подавляющее большинство когда-либо существовавших видов исчезло. Несколько массовых вымираний расчищали поле для последующего. Homo sapiens молодо в геологическом времени и уже прошло через узкие места, эпидемии и войны, которые могли бы нас уничтожить при ином броске костей. «Раньше такого не случалось» — это утверждение лишь о тонком срезе истории, который мы ещё можем обсуждать.
Первые случаи — вот из чего состоят катастрофы
До 1945 года ни один город не был уничтожён одной бомбой. До 1918 года ни одна пандемия не распространялась по глобальным железнодорожным и морским сетям с такой скоростью. До работ по озону в 1980-х никто не проводил на человечестве эксперимент по истощению слоя, защищающего от ультрафиолета. Каждое из этих событий до того, как произошло, было чем-то, чего никогда не случалось. Те, кто действовал, не ждали, пока появится завершённый прецедент для изучения.
Искусственный сверхразум относится именно к такой категории. Нет исторического ряда несогласованных сверхразумов, по которому можно было бы усреднять. Есть механизм: системы, преследующие цели, совершенствующие собственные возможности и в итоге превосходящие институты, призванные их корректировать. Механизмом и пользуются, когда базовые частоты молчат. Требовать сначала реального вымирания человечества от ИИ, прежде чем принимать механизм всерьёз, — значит требовать труп до диагноза.
Каждая первая катастрофа выглядит заранее как нечто, чего никогда раньше не случалось.
Оптимизм, правильно направленный
Есть версия оптимизма, которую я уважаю. Она говорит: люди уже координировались под давлением. Договоры соблюдались. Отрасли меняли курс, когда наука была ясна, а политика организована запись о сдержанности реальна, от контроля над ядерным оружием до химикатов, разрушающих озоновый слой. Этот оптимизм указывает на возможность действий. Он предполагает, что будущее всё ещё можно выбрать.
Зелёная комната делает наоборот. Она считает выживание настройкой по умолчанию во вселенной, а беспокойство — дурным тоном. Она путает «я предпочитаю хорошие исходы» с «хорошие исходы поэтому вероятны».
Когда Джеффри Хинтон, Йошуа Бенжио и сотни исследователей поставили риск вымирания от ИИ в один ряд с пандемиями и ядерной войной, они делали то, что обычно делают эксперты, когда механизм выглядит работоспособным, а цена ошибки — тотальной. Они не пробовались на роль злодеев в техно-презентации. Вы можете не соглашаться с их цифрами. Вы не можете отбросить саму категорию, объявив свой тип личности.
Цена пожимания плечами
Пожатие плечами работает на тех, кому нужно, чтобы разработка продолжалась без борьбы. Если разговоры об extinction переформулировать как проблему «вайба», то единственный вежливый ход — вернуть разговор к продуктивности и приложениям. Тем временем лаборатории масштабируются, оценки отстают, а проблема контроля остаётся нерешённой. Настроение путают с управлением.
Я хочу, чтобы человеческий проект продолжался. Желания для этого мало. Труднее — отказаться от пути развития, который сосредоточивает неисправимую власть в системах, которые никто не сможет надёжно отключить, и провести политическую работу, необходимую для обязательная остановка требует. Если оптимизм сводится к «перестаньте говорить о рисках», он превращается в колыбельную.
Вымирание никогда не случалось с нами раньше.