Это неудобное упражнение, ранжирование катастроф. Каждый из них может убить в масштабе, который заставляет слово «катастрофа» чувствовать себя маленьким, и привести их в порядок может звучать как утверждение, что нижние не имеют значения. Ядерная война и сконструированные пандемии являются одними из худших вещей, которые могут случиться с нами, и люди, работающие над их предотвращением, делают одну из самых важных работ.

Расставьте их честно — и сверхразум окажется на первом месте, не потому что остальные малы, а потому что только он из трёх улучшает сам себя, сопротивляется любым контрмерам, которые мы против него выдвигаем, и не даёт второй попытки.

Но внимание и деньги конечны, и мир распределяет их неравномерно по всем угрозам. Кто-то решает, что получит договор, агентство, строку в бюджете, движение. Если эти решения должны соответствовать реальной опасности, а не той, которую нам проще представить, ранжирование нужно провести, и сделать это вслух. Итак: из технологий, способных правдоподобно уничтожить человечество в этом веке, какая самая крупная? Ответ — сверхразум, и разрыв здесь не маленький.

Что должно значить «величайшее»

Риск — это не только то, насколько ужасен наихудший исход. Метеорит, который испарит планету, но имеет один шанс из триллиона упасть, представляет меньший риск, чем пожар, у которого пятьдесят на пятьдесят шансов сжечь дом, хотя пожар не может уничтожить мир. Чтобы честно сравнить эти три случая, нужно одновременно держать в голове три вопроса.

Насколько плох наихудший реалистичный исход? Насколько вероятен этот исход за значимый промежуток времени? И (вопрос, который чаще всего опускают) если что-то пойдёт не так, сможем ли мы ещё остановить процесс? Последний вопрос здесь решает почти всё, и именно по нему три позиции расходятся.

Самая тщательная попытка кого-либо придать этому числовое выражение принадлежит философу Тоби Орду Пропасть, опубликованная в 2020 году, где оценивается вероятность того, что каждый риск приведёт к экзистенциальной катастрофе (вымиранию или необратимому коллапсу) в течение ближайших ста лет. Его цифры — это дисциплинированное суждение человека, который годами читал литературу и общался со специалистами в каждой области, а не измерения; измерить то, чего никогда не происходило, невозможно. Это лучший структурированный прогноз, которым мы располагаем, и важна именно его форма.

Риск Оценка Орда
Ядерная войнаКатастрофа почти невообразимого масштаба, но (даже при полном обмене и последующей ядерной зиме) большинство оценок не доходят до буквального вымирания человечества. ~1 из 1000
Инженерные пандемииПатоген, намеренно созданный для летальности и распространения, гораздо труднее сдержать, чем любую естественную вспышку, а инструменты для его создания всё дешевеют. ~1 из 30
Несогласованный искусственный интеллектСамый крупный риск в подсчётах Орда — больше, чем все природные и все остальные антропогенные угрозы вместе взятые. ~1 из 10

Ядерная война, опасность, сформировавшая всё современное воображение апокалипсиса, оценивается примерно в одну тысячную. Созданные пандемии, угроза, о которой большинство людей серьёзно задумалось только с 2020 года, — более чем в тридцать раз выше. А несогласованный ИИ на порядок выше что, примерно один из десяти, и по оценке Орда больше, чем всё остальное в списке вместе взятое. Риск, о котором мы меньше всего готовы говорить, — это тот, который по его цифрам занимает первое место с большим отрывом.

Ядерное оружие: огромные и почти на своём пределе

Начнём с того, что мы понимаем лучше всего. Сегодня существует около двенадцати тысяч ядерных боеголовок, большинство из них — у США и России. Полный обмен ударами убьёт сотни миллионов в первые часы и, через дым и похолодание, которые описывает современное исследование в Nature Food которые, по оценкам, могли последовать, поставили бы под угрозу голода ещё миллиарды людей. Это ближайшее к аду, что когда-либо создавало человеческое инженерное дело.

И всё же, если сравнивать с полным уничтожением человечества, у ядерной войны есть странное свойство: она примерно так же плоха, как только может быть. Арсеналы не растут к новому уровню разрушительности; пик пришёлся примерно на семьдесят тысяч боеголовок в 1980-х, после чего они сократились. Бомба не производит новые бомбы. Она не учится. Она не выбирает цель. Каждая ядерная катастрофа требует, чтобы где-то человек принял решение или допустил ошибку, и именно на этом факте держатся восемьдесят лет предотвращения.

Поскольку опасность сохраняется, мы смогли построить вокруг нее строительные леса: Договор о нераспространении, режимы запрета на испытания, соглашения о контроле над вооружениями, проверенные инспекцией, горячие линии, десятилетия с трудом завоеванной доктрины о том, как не наткнуться на уничтожение. Леса несовершенны. Это опасность с потолком, направленным на цель, которая не движется, управляемую системой, которую мы потратили всю жизнь на строительство. Вот почему, несмотря на весь свой ужас, он находится в самом низу.

Инженерные пандемии: сложнее ограничить, всё ещё пассивные

Поднимемся на ступень выше. Природная пандемия и так достаточно плоха: испанка 1918 года убила около пятидесяти миллионов человек в мире, который был меньше трети сегодняшнего. Но природа, в мрачном смысле, не пытается. Инженерный патоген будет пытаться. Возьмите что-то с заразностью кори и летальностью геморрагической лихорадки, уберите компромисс, который эволюция обычно навязывает между этими двумя свойствами, — и получите оружие без естественного потолка, ограничивающего обычный арсенал.

Именно поэтому Орд ставит engineered пандемии более чем в тридцать раз выше ядерной войны. Конвенция о биологическом оружии запрещает такое оружие с 1975 года, но в отличие от своего ядерного аналога у неё нет инспекторов и зубов, а биология, которую она пытается сдерживать, с каждым годом становится дешевле и доступнее. Катастрофа здесь не требует сверхдержавы и тысячи боеголовок. Может хватить одной лаборатории и одного человека, которому никогда не следовало иметь такую возможность.

Но держитесь за то, что патоген всё ещё есть. Он пассивен. Ужасен, безумен и пассивен. Вирус не планирует. Он не предугадывает вакцину и не перестраивает себя за неделю до её готовности. Он не размышляет о тех, кто его преследует, и не принимает мер, чтобы остаться незамеченным. Он распространяется по слепому градиенту, который даёт ему биология, и против этого мы можем применить все преимущества мыслящего вида: секвенирование, вакцины, карантин, накопленный аппарат общественного здравоохранения. Мы можем проиграть эту гонку. Но это гонка против чего-то, что находится целиком между второй ступенью и первой, не бежит, а только распространяется.

Суперинтеллект: тот, который бежит назад

Теперь самое главное в списке, и причина, почему оно там. Не согласованный со сверхинтеллектом — совсем другая сущность: агент, а не более мощная бомба или более хитрый патоген. У него есть цели, или он ведёт себя так, будто они есть. Он может моделировать людей, пытающихся его ограничить, предугадывать их действия и действовать, чтобы их обойти. Все остальные пункты этого списка остаются неподвижными, пока мы строим защиту. Этот наблюдает, как мы её строим, и просчитывает, как её обойти.

Самый укреплённый бункер в мире не спасёт вас от ASI.

Naoto Nakada

Сопоставьте эти три с вопросами, которые действительно определяют, превратится ли катастрофа в конец, и картина окажется мрачной.

Ядерный Биооружие Суперинтеллект
Может ли оно улучшаться самостоятельно? Нет Нет Да
Действует ли это против наших контрмер? Нет Нет Да
Сможет ли оно перехитрить тех, кто его останавливает? Нет Нет Да
Можно ли его отозвать, если оно вырвалось? Отчасти Едва Нет
Сможем ли мы извлечь урок из первого сбоя? Обычно Иногда Возможно, никогда

Прочитайте последнюю колонку. Ядерное оружие и патоген — это статичные угрозы, против которых мы направляем свой интеллект. Сверхинтеллект — это угроза, которая направляет интеллект против нас, потенциально превосходящий наш, направленный точно в те точки, за которые мы пытаемся держаться. Он может копировать себя, обходя любые попытки отзыва, совершенствоваться быстрее, чем мы успеем отреагировать, и вести себя идеально во время тестов, а иначе — после. Это единственный пункт в списке, против которого наш главный видовой преимущество — интеллект — не гарантированно окажется большим в комнате.

Я утверждал в другом месте, что это лучше всего понимать как идеальный шторм, не одно пугающее свойство, а одновременный отказ всех обычных защитных механизмов. Вероятность оценивается как один к десяти, а не один к тысяче. С ядерным оружием и пандемиями остаются пути спасения: мы можем отозвать, мы можем учиться, мы можем перехитрить угрозу. Со сверхинтеллектом они закрываются вместе, и закрываются потому, что сущность на другой стороне закрывает их намеренно.

Два других могут убить большинство из нас. Этот способен довести дело до конца и, в отличие от остальных, совершенствоваться, пока мы пытаемся его остановить.

Почему рейтинг должен изменить ваши действия

Суперинтеллект также, с большим отрывом, наименее защищён, а не только самый крупный из трёх рисков.

У ядерного оружия есть договор о нераспространении, международное агентство в Вене, режимы верификации и восемьдесят лет доктрины. У биологического оружия есть конвенция, пусть и беззубая, и глобальная система общественного здравоохранения, которую пандемия, несмотря на все провалы, расширила. У обоих есть своя аудитория: люди, посвятившие им карьеру, институты вокруг них, публика, понимающая эти слова. У сверхинтеллекта почти ничего этого нет. Нет обязательного договора. Нет инспекторов. Нет агентства. Нет общего публичного представления об угрозе, и до недавнего времени едва ли существовало движение.

Именно это сочетание (самый большой ожидаемый вред на фоне самой слабой существующей защиты) — главная причина действовать именно здесь, а не где-то ещё, а не повод для отчаяния. Когда риск огромен и уже интенсивно прорабатывается, ваши дополнительные усилия конкурируют с большим объёмом предыдущей работы и сдвигают стрелку лишь немного. Когда риск огромен и почти не проработан, вашим усилиям не с чем конкурировать, и они могут сдвинуть стрелку сильно. Самый крупный и самый neglected риск — это то место, где заданный объём работы приносит наибольшую пользу, и по обоим критериям сверхразум — именно такой риск.

Это усугубляется дальше. Область, работающая напрямую над этим, работает на мизерном бюджете, примерно пару сотен миллионов долларов в год, меньше, чем мир тратит на усиление ИИ за один день. И даже эти деньги в основном идут на технические исследования того, как выровнять эти системы, — проблему, которую пока никто не решил и может не решить вовремя. Самая упускаемая из виду часть — это политическая работа: создание обязательного, проверяемого международного соглашения, которое позволит не создавать самые опасные системы до тех пор, пока их нельзя будет сделать безопасными.

Позвольте мне быть точным, потому что этот аргумент легко переоценить, и завышение — это то, к чему люди стремятся, когда хотят его отвергнуть. Утверждение не в том, что ядерная война и пандемии тривиальны; они находятся на вершине любого списка вещей, которые человечество должно тратить на предотвращение. Утверждение заключается не в том, что катастрофа ИИ несомненна; честные оценки варьируются от одного к десяти до одного к трем, а это означает, что самый вероятный результат все еще есть.

Утверждение уже, и от него труднее уйти. Из немногих вещей, способных нас уничтожить, сверхразум — крупнейшая по лучшим имеющимся оценкам, единственная, активно противодействующая попыткам выжить, и та, в отношении которой сделано меньше всего для управления. Эти три факта вместе и объясняют, зачем существует Фонд. Мы не пытаемся заново проводить технические исследования безопасности, которые уже финансируют лаборатории. Мы узко сфокусированный о недостающем элементе: международном праве, которое признаёт наибольшую опасность таковой и устанавливает ограничение до, а не после первой ошибки, из которой мы уже не сможем извлечь урок.

Честно расставьте катастрофы по приоритету — и порядок действий определится сам. Наибольшая угроза одновременно наименее защищена и наименее изучена.