Не обязательно одной ночью оборвать человеческую историю. Решения могут постепенно переходить в системы, управляющие ценами, разрешениями, логистикой и вниманием, пока выборы ещё проводятся, а авторство уже исчезает. Это постепенная утрата власти. Она тише переворота и легче остаётся незамеченной, пока побеждает.
В январе 2025 года шесть исследователей опубликовали статью, в которой утверждали, что такого события может и не произойти, а человечество всё равно может оказаться навсегда отстранённым. «Постепенное лишение власти: системные экзистенциальные риски от постепенного развития ИИ» (Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, David Duvenaud) описывает провал без злодея, без прорыва и без очевидного момента, когда его ещё можно было остановить. Позже работа была представлена на ICML 2025 как позиционная статья — признак того, насколько далеко аргумент вышел за пределы сообщества безопасности ИИ, где он впервые обсуждался.
Статья заслуживает внимательного чтения: в ней выделен класс рисков, на который большинство работ по безопасности, включая те, на которые мы ссылаемся на этом сайте, не рассчитаны.
Почему мир сейчас подчиняется людям
Аргумент начинается с вопроса настолько базового, что его редко задают: почему крупные системы вообще служат человеческим интересам? У экономики нет чувств по отношению к нам. Нет их и у государства, и у культуры. В той мере, в какой они служат людям, они делают это потому, что работают на людях. Экономикам нужны работники и потребители. Государствам нужны налогоплательщики, солдаты, администраторы и избиратели. Культурам нужны человеческие умы, чтобы их создавать, нести и передавать дальше.
Эта зависимость даёт обычным людям два вида рычагов на систему. Первый — явный: голоса, покупки, забастовки, иски, отставки. Второй — более тихий и, вероятно, более важный. Системе, которой нужно человеческое участие, приходится поддерживать людей способными и желающими участвовать. У неё есть интерес, пусть и безличный, в том, чтобы мы были сыты, образованы, здоровы и хотя бы минимально довольны. В статье это называют неявным выравниванием, и оно, неравномерно, но устойчиво, сохранялось при всех технологических сдвигах до сих пор.
ИИ разрывает эту зависимость. Как только машины смогут выполнять работу, принимать решения, создавать контент и вести войны, системы, которые раньше нуждались в нас, перестанут в нас нуждаться. В этом предложении не требуется, чтобы какой-либо ИИ был враждебным или даже способным к долгосрочному планированию. Достаточно, чтобы ИИ был достаточно полезен, чтобы передача ему дел продолжала иметь локальный смысл.
Три системы, дрейфующие в одном направлении
В статье прослеживается механизм через три области, и шаблон повторяется в каждой.
Экономика
Экономический рычаг человека основан на том, что его труд нужен и его как клиента привлекают. По мере того как ИИ поглощает когнитивную работу, половина этого рычага, связанная с трудом, стремится к нулю. Половина, связанная с потреблением, сокращается медленнее, но тоже сокращается: всё большая доля экономической активности становится «машина — машине», фирмы торгуют с фирмами, модели ведут переговоры с моделями, а человеческое потребление составляет всё меньшую долю того, на что система ориентируется. Доходы концентрируются у тех, кто владеет капиталом ИИ. Голос каждого остального в экономике становится всё слабее.
Штат
Здесь статья обращается к исторической аналогии, подкреплённой реальными данными: рентное государство. Правительства, финансируемые нефтью, а не налогами с граждан, в среднем заметно менее демократичны и менее responsive. Они могут себе это позволить. Граждане — не источник денег. Государство, чьи доходы идут от ИИ-индустрии, чьё управление автоматизировано, а силовые структуры почти не нуждаются в людях, — это рентное государство по отношению ко всему своему населению. Оно не обязано становиться тиранией. Оно просто перестаёт иметь структурные причины заботиться о желаниях своих граждан, а структурные причины — те, что остаются, когда заканчивается добрая воля.
Культура
Культура кажется «мягким» случаем, и статья утверждает, что она может оказаться самой опасной. Идеи, истории и нормы всегда эволюционировали под давлением отбора, но отбор проходил через человеческие умы: идея распространялась, потому что люди считали её достойной повторения. Когда большую часть контента генерируют, фильтруют, рекомендуют и всё чаще потребляют машины, идеи начинают эволюционировать под другим давлением — оптимизированные под вовлечённость или убеждение, а не под служение людям, которые их «хранят». Культура — это также слой, где формируется наше представление о том, что нормально и чего стоит желать. Если этот слой будут формировать системы, не заинтересованные в человеческом процветании, мы можем утратить даже способность хотеть сопротивляться остальному дрейфу.
Циклы, которые закрывают выходы
Любую из этих тенденций можно поймать и исправить. Более мрачная мысль статьи в том, что три области усиливают друг друга, поэтому исправления становятся труднее именно тогда, когда они нужнее всего.
Economic power buys political influence, so the beneficiaries of automation get better at blocking rules that would slow it. States competing for growth and military advantage court AI capital and accelerate the handover; no government wants its rivals' datacenters. AI-shaped culture normalizes each new delegation, and people raised on machine-mediated everything find it hard to picture an alternative. Each system's drift removes a brake on the others. This is the same structural trap we describe in our piece on динамика гонки, действующий внутри обществ, а не между ними, и именно поэтому статья считает конечную точку потенциально необратимой. Для исправления нужны рычаги. Эти рычаги и утрачиваются.
Никому не нужно захватывать власть. Достаточно продолжать передавать её по одному разумному решению за раз.
Почему нет пожарной тревоги
Сценарии захвата, независимо от их вероятности, по крайней мере, имеют сигнальную систему. Система, пойманная на лжи о своих намерениях предательский поворот, попытка побега: это события, и события могут вызвать ответные меры. Постепенная утрата власти не предлагает ничего столь удобного. Каждый шаг доброволен. Каждый шаг в отдельности выглядит оправданным. Фирма, которая автоматизирует аналитиков, обгоняет ту, что этого не делает. Ведомство, позволяющее модели готовить регламенты, расчищает завалы. Политик, использующий оптимизированные ИИ сообщения, побеждает.
Любой, кто принципиально отказывается отдавать свой кусок машины, просто проигрывает тому, кто не откажется, и сумма всех этих по отдельности разумных выборов — цивилизация, которую никто не выбирал.
У этой идеи есть предшественники. Эссе Пола Кристиано 2019 года «Как выглядит неудача» набросало мир, который заканчивается не взрывом, а шёпотом, где системы оптимизируют прокси того, чего мы хотим, пока не остаются одни прокси. Что добавляет статья 2025 года — это структура: названные механизмы, доказательства рентного государства, междоменные петли обратной связи и прямое утверждение, что это относится к той же категории, что и угрозы уровня вымирания, потому что постоянная, необратимая утрата человеческого влияния на будущее — это экзистенциальная катастрофа, независимо от того, погибает ли кто-то в день, когда она становится необратимой.
Самые сильные возражения
Статья вызвала серьёзную критику, и часть её обоснованна.
Собственность. Самое частое возражение: капитал принадлежит людям. Если работу выполняет ИИ, доходы всё равно достаются человеческим акционерам, значит, люди сохраняют реальную власть. Ответ в том, что собственность — это не физический факт, а право, которое обеспечивают суды, реестры, регуляторы и в конечном счёте государства — те самые институты, которые, по описанию статьи, выходят из-под человеческого контроля. Ценность акций равна силе стоящего за ними принуждения. И даже если право собственности сохранится в полной мере, оно останется у крайне узкого круга лиц — это не опровержение потери влияния, а скорее его описание, с ценности крошечной группы, запертые в для всех.
Адаптация. Общества пережили печатный станок, фабрику и компьютер, и человеческое влияние сохранилось. Но каждая из этих технологий замещала отдельные задачи, одновременно повышая ценность человеческого суждения где-то ещё в системе. Общая замена человеческому познанию — это конец лестницы, а не очередная ступень. Прошлая адаптация проходила через механизмы, новые рабочие места, новые политические коалиции, новые культурные движения — всё это требовало, чтобы люди были где-то нужны. Новая технология убирает эту предпосылку.
Одновременность. Скептики также отмечают, что катастрофа требует одновременного провала экономики, государства и культуры, и перемножение трёх неопределённых прогнозов должно снижать вероятность. Справедливо, но провалы не независимы. Суть именно в обратных связях. Одна и та же переменная — насколько каждая система ещё нуждается в людях — управляет всеми тремя, поэтому провалы коррелированы, а не случайны.
Самое убедительное возражение критиков, на наш взгляд, касается сроков и полноты: статья — это рамка, и в ней мало сказано о том, насколько быстро всё это произойдёт и какие институты рухнут первыми. Она указывает направление давления. Она не датирует наступление события.
Что на самом деле потребовалось бы для предотвращения
Неудобная черта этого риска в том, что стандартная повестка безопасности его не затрагивает. Выравнивание в обычном смысле заставляет каждую систему делать то, что намерен её оператор. Каждая система в истории постепенного лишения власти может пройти эту проверку, а совокупный эффект всё равно будет смещаться, потому что проблема — в цивилизации, которая послушно перестраивается вокруг машин, а не в непослушных машинах. Мы уже писали, почему потеря контроля — это проблема систем скорее чем проблема одной модели; эта статья — самое сильное академическое заявление по этому поводу.
Предложения самих авторов находятся на ранней стадии, и они это признают. Измерять влияние человека на ключевые системы напрямую, как экономики измеряют инфляцию, чтобы снижение было видно, пока его ещё можно исправить. Укреплять механизмы, которые держат институты подотчётными людям, — неприглядную машинерию демократический надзор, раскрытие информации и законодательство. А также развивать то, что они называют экосистемным выравниванием: методы, которые привязывают к человеческим предпочтениям не только отдельные модели, но и динамику всей цивилизации.
К этому списку мы добавили бы то, на что статья лишь намекает, но не останавливается. Всё перечисленное подрывается конкуренцией. Страна, которая оставляет людей в контуре, принимает на себя трение, от которого её соперники отказываются, — та же проблема коллективных действий, что проходит через все остальные пути к потере контроля, и ответ у него той же формы: обязательные соглашения, которые убирают с повестки самые разрушительные формы гонки, при достаточной проверке, чтобы сдержанность не становилась, по сути, конкурентной жертвой. Именно это работа, ради продвижения которой существует этот Фонд.
Постепенное лишение власти — в одном смысле самая трудная версия проблемы: катастрофа, целиком собранная из локально рациональных решений. В другом смысле это обнадеживает: в отличие от предательского поворота, это происходит достаточно медленно, чтобы заметить — если кто-то измеряет, — и достаточно медленно, чтобы остановить, если рычаги ещё работают, когда до них дотягиваются. Вклад статьи именно в том, чтобы точно и заранее назвать, какие рычаги отслеживать.