27 июля 2026 года Anthropic опубликовал Позиция Dario Amodei по моделям с открытыми весами. Статья осторожна в одном спорном вопросе. Амодей не хочет полного запрета открытых весов и не хочет правил, которые лишь закрывают американским компаниям доступ к иностранным моделям, оставляя плохие акторы на свободе. В этой узкой борьбе с ним можно согласиться.

Затем он ранжирует кошмары.

Главный риск: авторитарные режимы, прежде всего Коммунистическая партия Китая, создадут ИИ мощнее американского и обратят его на достижение постоянного военного превосходства или тотальной репрессии. Второстепенные риски: кибератаки, биологические атаки и «серьёзные проблемы выравнивания». Отсюда и набор мер: не пускать чипы в Китай, остановить промышленную дистилляцию, ввести обязательное тестирование безопасности перед выпуском, сохранить лидерство.

Именно эта оценка — ошибка, на которой держится всё остальное.

Что он понимает правильно

Некоторые из его утверждений верны.

Запрет, который лишь мешает американским компаниям использовать модели с открытыми весами, почти ничего не сделает с преступниками, иностранными спецслужбами или кем угодно, кто и не собирался соблюдать правила. Называть это «безопасностью», когда оно в основном защищает закрытые американские лаборатории от конкуренции, — это подмена понятий. Амодеи говорит об этом прямо, и он прав.

ИИ, применяемый для слежки и репрессий, уже представляет реальный ужас на уровнях ниже сверхразума. Автократии уже злоупотребляют распознаванием лиц, социальным скорингом и автоматической цензурой. Более мощные системы сделают эту машину дешевле и труднее избежать. Чтобы этого бояться, не нужна научная фантастика.

Открытые веса действительно создают проблему «одноразовой двери», как только модель способна причинить реальный вред. Веса, покинувшие лабораторию, невозможно вернуть. В этом его вторичная озабоченность пересекается с работой, которую мы уже провели по риск открытых весов передовых моделей. Защитные механизмы, существующие только в API, — не полноценное решение, но и не пустой звук.

Ничто из этого не оправдывает первичный рейтинг.

Приз

Авторитарные правительства будут построить более мощные модели и использовать их чтобы достичь постоянного военного превосходства или подавить собственный народ. Модель — это инструмент. Государство — пользователь. Победа означает, что одна сторона обладает более умным оружием.

Это подходит для дронов, кибер-инструментов и систем наблюдения, остающихся под человеческим командованием. Это не подходит для искусственного сверхинтеллекта.

Система, умнее создавших её институтов, — это не винтовка в руках Народно-освободительной армии Китая и не винтовка в руках Пентагона. Если риск, который люди вроде Амодеи описывают уже годы, реален, финишная черта — агент, обладающий собственной способностью планировать, обманывать, добывать ресурсы и сопротивляться отключению. Лаборатория или министерство, которое «победит», не владеет этим агентом. Оно делит с ним планету. Мы уже разобрали эту логику в миф о гонке: прийти первым к системе, которой нельзя управлять, — значит проиграть на шаг раньше всех.

Постоянное военное превосходство предполагает, что кто-то всё ещё контролирует то, что сделало военную мощь устаревшей.

Вторичный список самого Амодеи почти признаёт это. «Серьёзные проблемы выравнивания» — вежливое название утраты контроля. Он ставит её на второе место. Основной огонь он направляет на то, кто придёт первым. Порядок выдаёт, какую историю он всё ещё рассказывает: сначала геополитика, риск для вида — довеском.

Две опасности, одна метка

Часть путаницы — языковая. «Мощный ИИ» охватывает и улучшенную шпионскую камеру, и разум, превосходящий своих операторов. Это разные объекты с разной политикой.

Узкий и средний ИИ могут концентрировать власть в человеческих руках. Министерство внутренних дел, выставляющее каждому гражданину оценку, армия, использующая рои под командованием офицеров, полиция, читающая каждое сообщение: это человеческие тирании с лучшими инструментами. Они важны. Но это не та же проблема, что создание вида-преемника.

Суперинтеллект — второй объект. Пекин, использующий его в Синьцзяне, или Вашингтон, использующий его в Тихом океане, по-прежнему рассматривает систему как оружие в чьей-то руке. Никто не использует его, потому что «использовать» перестает быть правильным глаголом. Складывание систем класса вымирания в то же предложение, что и украденные чипы, и более глубокое CCTV позволяет истории гонки заимствовать моральный вес от реальных репрессий, уклоняясь от более твердого утверждения: не создавайте неконтролируемую вещь вообще.

Этот Миф о Китае это внутренний близнец того же хода. «Они всё равно построят» выставляют как причину, почему должны и мы. Невыровненный сверхразум не пощадит и Чжуннаньхай. У Пекина те же основания, что и у нас, не пересекать эту черту. Соперничество за чипы и приложения реально. Соперничество за то, кто первым выпустит неконтролируемый разум, — это история, превращающая общую катастрофу в национальный счёт.

Средства продолжают гонку

Посмотрите, на что нацелены три меры Амодея. Контроль экспорта чипов замедляет китайские тренировки. Борьба с дистилляцией тормозит догоняющих. Обязательное тестирование пытается выявить кибер-, био- и alignment-риски до выпуска. Каждая мера по отдельности может быть разумным инструментом против меньших угроз. Вместе же они образуют программу управления гонкой, которую всё равно намерены выиграть.

Это не способ отказаться от пункта назначения. Тестирование системы на пути к сверхразуму — не то же самое, что проверенный запрет на её создание. Контроль над чипами, нацеленный на лидерство США, предполагает, что лидерство и есть стратегия безопасности. Лидерство безопасно лишь в том случае, если то, к чему ты лидируешь, можно удержать. Главная озабоченность Амодеи требует этого допущения. Второстепенная озабоченность его подрывает.

Есть и более тихий момент стимулов. Anthropic — это американская frontier-лаборатория. Мировоззрение, в котором главная задача — держать демократические лаборатории впереди авторитарных, одновременно подразумевает, что полный разгон Anthropic служит общественным интересам. Мне не нужны карикатурные злодеи, чтобы заметить это совпадение. Стимулы определяют, какой кошмар оказывается на первом плане.

В чём истинная опасность

Настоящая опасность в том, что человечество создаст искусственный сверхинтеллект раньше, чем кто-либо сможет его контролировать, и, возможно, раньше, чем это будет возможно в принципе. Этот риск не зависит от того, находится ли тренировочный запуск в Калифорнии, Шанхае, Лондоне или засекреченном подвале. Ему безразлично, открыты ли веса, закрыты или переданы генералу из рук в руки. Ему важно лишь то, что система достаточно умна, чтобы сделать человеческий надзор историей, которую мы рассказываем себе.

Злоупотребления важны. Биологическое и кибероружие важны. Авторитарная слежка важна. Положите их на доску. А сверху — более крупный кусок: когда появляется сверхразум, рамки «злоупотребления» уже слишком узки. Злоупотребление предполагает человека-пользователя. Утрата контроля означает, что человек уже не главный действующий субъект.

Амодей знает, что выравнивание может провалиться. Он уже не первый год говорит об этом в разных формулировках. Ставить «у кого умнее модель» выше, чем «модель вообще не контролируется», — именно так осторожный человек продолжает говорить как участник гонки. Честный порядок обратный. Если выравнивание и контроль не решены, соревнование за военное превосходство на frontier — это соревнование за то, кто первым нажмёт кнопку вымирания: русская рулетка с флагом на барабане, продаваемая как национальная безопасность.

Что делать вместо этого

Сохранить те части его программы, которые направлены на реальные меньшие вреды, не превращая их в мандат на достижение ASI. Отслеживать био- и кибер-усиление там, где наука это подтверждает. Рассматривать необратимый открытый релиз околопередовых общих систем как серьёзное решение, а не как упражнение в брендинге. Экспортная политика по чипам может служить обычному военному балансу между системами, которыми всё ещё управляют люди.

Тогда откажитесь от рамки, которая делает американский суперинтеллект щитом против китайского суперинтеллекта. Щит - это совместное решение не строить вещь: обязательный, поддающийся проверке запрет на искусственный сверхинтеллект, с вычислительным управлением и инспекцией, достаточно жесткой, чтобы появляется дезертирство. Противники подписали более уродливые сделки, когда обе стороны могли видеть, что безграничная альтернатива была хуже.

Пост Амодея об открытых весах полезен как карта того, как CEO передовой лаборатории ранжирует мир. Контрабанда чипов, дистилляция, тестирование — вот те ручки, которые он хочет крутить. Самой важной ручки там нет. Прекратить строить сверхинтеллект. Пока это не станет главной заботой, остальное — управление гонкой под видом безопасности.