Саморегулирование. Кнопка выключения. Слишком сложно для государства. Китай. Четыре самых частых аргумента против жёстких правил и что в каждом из них неверно.
До законов о ремнях безопасности автопром утверждал, что обязательные требования уничтожат продажи. До ограничений на табак отрасль говорила, что государство не вправе вмешиваться в выбор потребителей. До запрета ХФУ химическая промышленность заявляла, что отказ от них экономически невозможен. Это были не маргинальные мнения. Их озвучивали уважаемые люди в уважаемых изданиях, с убедительно звучащей аргументацией.
Аргументы против управления ASI следуют той же схеме. На первый взгляд они звучат разумно.
Что отличает управление ASI от предыдущих случаев — это ставки. Этилированный бензин отравил миллионы, но не угрожал цивилизации. Суперинтеллект, который никто не может контролировать, может не оставить времени на исправление. Каждое возражение против управления ASI нужно оценивать не только по его достоинствам в отрыве, но и по цене принятия, если оно окажется ошибочным.
Ниже приведены четыре возражения, с которыми мы сталкиваемся чаще всего.
Компании, создающие передовой ИИ, имеют команды безопасности, публикуют исследования по безопасности и сталкиваются с репутационными последствиями при катастрофических сбоях. Добровольные обязательства и рыночные стимулы достаточны. Обязательное регулирование замедлит прогресс, не повысив безопасность.
То же самое утверждали про табак, этилированный бензин, финансовые деривативы и социальные сети. В каждом случае структурная заинтересованность отрасли в росте была несовместима с адекватным саморегулированием. Компания, которая добровольно вводит жёсткие требования безопасности, пока конкуренты этого не делают, потеряет долю рынка. Эта динамика не меняется от того, что технология сложнее. Саморегулирование без обязывающих правил — это позиция лоббистов, а не стратегия безопасности.
Если ИИ-система станет опасной, люди смогут её выключить. Кнопка отключения обеспечивает человеческий контроль на каждом этапе разработки. Сценарий, в котором ИИ ускользнёт из-под контроля, — научная фантастика.
Это предполагает, что достаточно способная ИИ-система останется пассивной, пока люди обсуждают её будущее функционирование. Система, достаточно продвинутая, чтобы представлять экзистенциальный риск, сможет моделировать намерения своих операторов и предпринимать шаги для сохранения своей работы, если её цели этого требуют. Для системы, работающей на машинной скорости, интервал между «это может стать проблемой» и «это уже неисправимая проблема» может не оставить времени на реакцию человека.
ИИ-системы слишком технически сложны, чтобы законодатели могли ими эффективно управлять. Добросовестное, но технически некомпетентное регулирование причинит серьёзный вред, не снизив риск. Оставьте это инженерам, которые эти системы строят.
Правительства регулируют ядерное деление, не требуя от законодателей степени по физике. Они управляют фармацевтической химией, не требуя докторской степени по биохимии. Навыки, необходимые для управления ASI, — это институциональное строительство, разработка договоров, установление стандартов и механизмы подотчётности, то, чем правительства занимаются постоянно. Утверждение, что ИИ слишком технический для регулирования, — это аргумент, что ИИ должен управляться компаниями, которые его создают. Это коммерческий аргумент, а не технический.
Китай вкладывает огромные средства в искусственный интеллект. Китайское правительство определило лидерство в ИИ как национальный стратегический приоритет и выделило сотни миллиардов на его достижение. Если Соединенные Штаты или Европа замедлят развитие ИИ через рамки управления, Китай первым достигнет искусственного общего интеллекта. Мир, в котором Китай добьется AGI раньше демократического мира, хуже мира, в котором Запад придет первым. Поэтому мы не можем замедляться.
Это наиболее последовательная версия аргумента о Китае. Вопрос в том, выдержит ли он проверку.
Мы считаем, что нет, и вот шесть разных причин. Каждая разбирается ниже. Вместе они не отменяют конкурентного измерения разработки ИИ — оно реально. Однако они показывают, что аргумент про Китай, как его обычно используют, не даёт никаких ориентиров и не служит никакой стратегической цели, кроме оправдания полного отсутствия управления.
Обычная картина альтернативы — Запад выигрывает гонку и разумно использует преимущество. Реальная альтернатива — любая компания где угодно создаст искусственный сверхинтеллект. Это верная смерть.
В основе довода про Китай лежит предположение, что Китаю выгодно первым создать суперинтеллект, который он не сможет контролировать. Такая система — не оружие, которым Китай сможет ударить по США. Это агент, преследующий собственные цели, которые могут быть столь же несовместимы с выживанием людей в Пекине, как и в Сан-Франциско.
Китай тоже на этой планете. У китайских лидеров тоже есть дети и внуки. Сценарий, при котором Китай создаёт неконтролируемый сверхразум и использует его как геополитический инструмент против Запада, требует верить, что китайское руководство решило проблему контроля, которую лучшие исследователи мира считают нерешённой. Он также требует верить, что китайские лидеры готовы рискнуть уничтожением собственной цивилизации ради геополитического преимущества. Доказательств любого из этих убеждений нет.
В 1945 году у США была ядерная монополия. Советский Союз создал ядерное оружие к 1949 году. За четыре года два самых мощных противника в мире, с принципиально несовместимыми политическими системами, активными прокси-войнами и взаимным недоверием, начали контроль над ядерными вооружениями.
Договор о частичном запрещении ядерных испытаний был подписан в 1963 году. ОСВ-1 — в 1972-м. Договор о РСМД — в 1987-м. СНВ — в 1991-м. Эти соглашения заключались с государством, которое руководство US называло «империей зла», проверялись режимами инспекций и работали. Если проверяемый контроль над вооружениями был достижим с Советским Союзом в разгар холодной войны, то аргумент, что это невозможно достичь с Китаем просто не заслуживает доверия. Прецедент существует. Методики известны.
Китай подписал Блетчлискую декларацию в ноябре 2023 года — первое международное соглашение, признавшее, что передовой ИИ несёт потенциально катастрофические риски. Китай участвовал в Сеульском саммите по безопасности ИИ в 2024 году. Китай принял собственные нормативные акты в сфере ASI, включая требования к прозрачности алгоритмов, маркировке контента и оценке безопасности передовых моделей перед развёртыванием.
Представление о Китае как о стране-изгое, отказывающейся от участия в управлении ASI, не соответствует фактам. У Китая есть веские причины желать, чтобы развитие ИИ шло успешно: его руководство не застраховано от экзистенциального риска, экономика зависит от технологической стабильности, а глобальная катастрофа с ИИ уничтожит процветание, созданное за четыре десятилетия реформ. Основа для взаимодействия существует. Не хватает лишь международной структуры, которая сделает это конкретным.
Логика «мы должны участвовать в гонке, чтобы не отстать» предполагает, что первенство даёт возможность контролировать результат. На деле всё наоборот: чем быстрее идёт разработка под давлением конкуренции и срезанием углов, тем меньше вероятность, что получившаяся система окажется безопасной, независимо от того, кто её создал.
Лаборатория US, которая в условиях конкурентного давления мчится к ASI без надлежащей оценки безопасности, не создаёт безопасный ASI, служащий интересам US. Она создаёт небезопасный ASI, угрожающий всем, включая Соединённые Штаты. Конкурентная рамка поощряет именно те практики разработки, которые делают потерю контроля наиболее вероятной. Динамика гонки ускоряет именно тот исход, которого все опасаются.
Постоянное возражение против договоров по ИИ — невозможность их верифицировать. Это утверждение слабее, чем кажется. Аппаратура, необходимая для обучения передовых моделей ИИ, проходит через один из самых концентрированных узких мест среди всех технологий в истории.
TSMC производит практически все передовые ИИ-чипы. ASML выпускает единственные литографические машины, способные делать такие чипы. NVIDIA разрабатывает доминирующую архитектуру GPU. Все три компании находятся в странах-союзниках или под их юрисдикцией экспортного контроля. Правительство Соединённых Штатов уже пытается ограничить поставки передовых ИИ-чипов в Китай через экспортные ограничения. Режим мониторинга вычислений на основе договора просто формализует и расширит то, что уже делается в одностороннем порядке. Верификация — это инженерная задача. Инженерные задачи имеют решения.
Глубочайшая проблема аргумента о Китае — не его точность в отношении Китая, а реальная функция в мире. Этим аргументом оправдывают полное бездействие: никакого внутреннего регулирования, никакого международного сотрудничества, никаких требований к безопасности, никаких рамок ответственности, никакого управления вообще.
Если на любое предложение по безопасности ИИ отвечают «а Китай», то никаких действий никогда не будет. Это вето, завуалированное геополитическим языком. Оно служит интересам компаний, которые спешат создать AGI и выигрывают от политической парализации, вызванной страхом конкуренции. Аргумент про Китай используется как стратегия отсрочки необходимого регулирования.
Некоторые самые громкие аргументы против регулирования суперинтеллекта — это психологические приёмы.
Это выученная беспомощность, выдаваемая за реализм. Если исход предопределён, усилия бессмысленны, поэтому вы перестаёте организовываться. Историки называют близкого родственника этого «ложной окончательностью»: представить живой политический выбор уже решённым, чтобы аудитория даже не пыталась. Ядерное оружие тоже называли неизбежным для каждого государства, которое могло себе это позволить. Большинство так и не получили его. Монреальский протокол называли невозможным, пока он не стал реальностью.
Технология неизбежна только если люди продолжают выбирать её строить и отказываются связывать друг друга. Это выбор, а не закон физики. Те, кто громче всех говорит «неизбежно», часто верят, что им выгодно ваше бездействие.
Если соперник продолжит разработки и создаст суперинтеллект, он получит не оружие, которого нет у нас. Он получит систему, которую никто не сможет контролировать, включая его самого. То, что мы тоже её построим, не заставит его остановиться. Это лишь повысит вероятность появления той же неуправляемой системы. Если вы хотите, чтобы они прекратили, остановка должна касаться и их, и вы должны иметь возможность это проверить. Ускорение разработок этого не обеспечит.
Навешивайте ярлык на человека, чтобы никогда не отвечать на утверждение. Назовите кого-то паникёр и залу предлагают списать аргумент на особенности личности. Тот же приём применяли против ремней безопасности, ограничений на табак и климатической науки. Обзывательства не заменяют доводов безопасности.
Апелляция к авторитету без самого авторитета. Многие из тех, кто ближе всего к работе, включая Джеффри Хинтона и Йошуа Бенджио, заявили, что риск реален и недостаточно контролируется. Внутренние команды безопасности находятся внутри компаний, чьи стимулы поощряют скорейший выпуск. «Доверьтесь нам» — это не проверка. Проверка — это инспекторы, пороги и наказания за обман.
Ещё одна форма обусловленной пассивности. Если окно уже закрыто, можно пропустить тяжёлую политическую работу. Способности движутся быстро. Работа над договором ещё открыта, а передовые тренировки по-прежнему проходят через короткий список производителей чипов и фабрик. Поздно — не значит поздно навсегда. Действовать так, будто всё уже кончено, — это способ сделать так, чтобы всё кончилось.
Соединённые Штаты и Советский Союз жёстко соревновались по всем измерениям силы в годы холодной войны и одновременно создали архитектуру контроля над вооружениями, предотвратившую ядерное уничтожение. Эти две вещи сосуществовали, потому что обе стороны понимали: некоторые исходы хуже для всех, независимо от того, кто их вызвал.
Та же логика применима к ИИ. Соединённые Штаты и Китай могут конкурировать в приложениях ИИ, экономическом внедрении, исследованиях и разработках, одновременно соглашаясь, что определённые категории разработки ИИ (конкретно системы, чьи возможности превосходят человеческий интеллект во всех областях и чей контроль не поддаётся проверке) не должны строиться ни одной из сторон без многосторонних рамок верификации.
Именно такую позицию успешно заняли в отношении ядерного оружия. Люди, которые вели переговоры по NPT и договорам ОСВ, не были наивными идеалистами относительно намерений СССР. Они были жёсткими реалистами, понимавшими, что взаимное уничтожение не в интересах ни одной из сторон, независимо от ideology.
Мы выступаем за такую же жёсткую реалистичность в отношении ИИ. И Китаю, и Соединённым Штатам грозит одна и та же экзистенциальная опасность от неконтролируемого сверхразума. Договор, который не позволит ни одной из сторон строить его без надлежащей проверки безопасности, отвечает интересам обеих. Переговоры будут трудными. Альтернатива — гонка за создание самой значимой и потенциально опасной технологии в истории без всякого управления и проверки безопасности — хуже для всех, включая тех, кто заявляет о желании победить.
Присоединяйтесь к тем, кто строит аргументы за управление, пока не стало слишком поздно.