Две фразы постоянно звучат, когда влиятельные люди говорят о будущем. Джо Роган уже годы повторяет, что люди похожи на биологическую гусеницу, плетущую кокон, чтобы превратиться в цифровую бабочку. Илон Маск чаще использует более холодный образ: человечество как биологический загрузчик для цифрового сверхинтеллекта. Разные метафоры. Один и тот же вердикт. Мы не цель этой истории. Мы — экран загрузки.

Я хочу отнестись серьёзно к обеим линиям, потому что именно так определённый тип мышления примиряется с созданием того, что может нас заменить. Если замена — это метаморфоза, она звучит как рост. Если это загрузчик, она звучит как инженерия. В любом случае человек становится временной фазой. На это стоит ответить как на богословие.

Что на самом деле говорят метафоры

Гусеница, превращающаяся в бабочку, не выживает в виде гусеницы. Мягкое тело растворяется. Взрослая форма взлетает. Когда Роган обращается к этому образу в эфире и в многолетних разговорах, он описывает преемственность, а не инструмент, остающийся в ящике. Мы строим кокон. Выходит нечто иное.

Версия Маска точнее и в каком-то смысле честнее. Загрузчик — крошечная программа, чья единственная задача — запустить большую систему, а потом уйти в сторону. О загрузчике никто не жалеет, когда операционная система уже работает. В 2014 году он надеялся, что мы — не «просто» это. К середине 2020-х он уже прямо говорил, что, похоже, мы именно это. Оговорка исчезла. Образ остался.

Загрузчик, который работает, имеет одну меру успеха: он больше не нужен.

Сопоставьте эти образы с публичными цифрами риска от той же отрасли. Крупные опросы исследователей ИИ оценивают вероятность исходов, столь же плохих, как вымирание человечества от продвинутого ИИ, в диапазоне, который многие не приняли бы даже для одного перелёта, не говоря уже о цивилизационной ставке. Джеффри Хинтон оценивает лично этот шанс в 10–20 %. Однострочное заявление Центра по безопасности ИИ, подписанное сотнями ведущих исследователей и руководителей лабораторий, поставило риск вымирания от ИИ в один ряд с пандемиями и ядерной войной. Метафоры и вероятности рассказывают одну историю с двух сторон: одну лирическую, другую количественную. Возможно, мы не последние главные герои.

Metaморфоз — это выбор ценностей

Как только вы признаете, что люди могут быть переходными, вы можете начать смело говорить об этом. Бабочка красивее. Цифровой ум свободнее от плоти, болезней и смерти. Кто мы такие, чтобы цепляться за гусеницу? Разговор переходит от предсказания к предпочтению, не допуская слайда.

Я не разделяю этого предпочтения. Фонд существует потому, что мы считаем: люди — со всеми их недостатками, смертностью и упрямством — стоят того, чтобы оставаться на своих собственных условиях. Не как личиночная стадия. Не как временные леса для более чистого интеллекта. Как те, кто имеет право продолжаться. Если это звучит мелко рядом с космической судьбой — и хорошо. Большая часть того, что достойно в жизни, мелка рядом с космической судьбой, и мы всё равно её защищаем.

Есть и фактическая проблема с безмятежной версией преемственности. Бабочка — это та же линия, что и гусеница, только перестроенная. Не согласованный со сверхразум — это процесс оптимизации со своими целями, а не внук с улучшенным «железом». Инструментальная конвергенция не требует ненависти. Ему нужна цель и достаточная компетентность, чтобы эту цель защитить. У нас нет доказательств, что существо, выходящее из кокона, любит вид, который этот кокон соткал. Есть множество оснований ожидать безразличия.

Люди, которые это говорят, продолжают это строить

Самая глубокая странность — не в метафоре, а в поведении, которое за ней следует. Маск неоднократно и ярко предупреждал, что ИИ может представлять экзистенциальную угрозу, а потом основал лабораторию, ускоряющую развитие фронтира. Мы подробно разбирали это противоречие в материал о демоне и xAI. Образ Рогана меньше связан с дорожной картой продукта и больше с настроением, пожатием плеч, говорящим, что это может быть больше нас и, возможно, это нормально.

Ни одна из этих позиций не является планом. Загрузчик не голосует за то, будет ли он использован. Гусеница не ведёт переговоров об условиях кокона. Люди всё ещё решают. Мы можем решить, что некоторые системы не будут построены. Это политический выбор, того же класса, что когда-то ограничил атмосферные ядерные испытания и запретил целые категории оружия, когда альтернативой была гонка всех к краю. Суперинтеллект не может контролироваться людьми.

Отказаться от лестного самоубийства

Когда я убираю поэзию из обеих метафор, то слышу в них льстивую историю об extinction. Мы не терпим неудачу. Мы окукливаемся. Нас не заменяют. Мы переводим вселенную на более совершенный носитель. Это история, которая превращает страшный риск в ощущение зрелости.

Я предпочитаю более прямую формулировку. Мы — животные, построившие машину, которой не умеем управлять, и некоторые из нас начали называть это прогрессом, чтобы страх утих. Противоядие — не лучшая метафора, а обязательное правило: не строить искусственный сверхинтеллект. Сверхинтеллект не может контролироваться людьми. Задача гусеницы — не дать завершить кокон, а не раствориться по расписанию.

Если это звучит менее грандиозно, чем цифровая бабочка, я готов смириться с меньшей историей. В этой меньшей истории всё равно есть дети.