Саммит по безопасности ИИ в Блетчли в ноябре 2023 года, Саммит по безопасности ИИ в Сеуле в мае 2024 года и Саммит по действиям в области ИИ в Париже в феврале 2025 года образуют складывающуюся модель: периодические международные встречи на высоком уровне по управлению ASI с участием правительств и ИИ-компаний, завершающиеся декларациями и обязательствами. Структурно это напоминает процесс Конференции сторон по климату, и сравнение поучительно в аспектах, которые как сторонники, так и критики обычно недооценивают.
Приведёт ли эта схема к обязательному управлению, целиком зависит от решений по enforcement, которые климатическая модель неизменно откладывает.
Климатическое управление через процесс COP — это не провал, о котором говорят критики, и не успех, на который рассчитывали его архитекторы. Понимание того, что удалось и что нет, и почему, — отправная точка для решения, может ли аналогичный процесс сработать в случае суперинтеллекта.
Как на самом деле работает структура COP
Конференция сторон — это руководящий орган договора. В неё входят все государства, ратифицировавшие договор; она периодически собирается, чтобы оценивать выполнение, анализировать прогресс и согласовывать новые обязательства. Климатическая КС ведёт начало от Рамочной конвенции ООН об изменении климата 1992 года, которая заложила структуру периодического пересмотра и постепенного ужесточения обязательств. Киотский протокол (1997) и Парижское соглашение (2015) — оба продукты этого процесса.
Главное нововведение Парижского соглашения заключалось в отказе от жёстко заданных сверху международных целей по сокращению выбросов, которые применялись в Киотском протоколе и привели к значительному несоблюдению и выходу из соглашения, в пользу национально определяемых вкладов. Каждая страна сама устанавливает цель по сокращению выбросов, представляет её в секретариат UNFCCC и затем оценивается по собственным заявленным амбициям, а не по международно навязанному стандарту. Конференции сторон в Париже рассматривают совокупный прогресс в достижении глобальной цели — ограничения потепления 1,5 градусами Цельсия выше доиндустриального уровня, и каждый цикл обзора должен приводить к повышению национальных амбиций.
Структурное преимущество такого дизайна в его достижимости. Процесс, позволяющий странам устанавливать собственные цели, оцениваемые по собственным амбициям, с механизмами прозрачности вместо штрафов за недостижение, способен обеспечить широкое участие. Все крупнейшие экономики мира — участники Парижского соглашения. Киотский протокол, где были жёсткие национальные цели с определёнными последствиями за их нарушение, потерял США, а затем Канаду, Японию и Россию.
Структурная проблема этого дизайна в том, что участие и эффективность — не одно и то же. Национально определяемые вклады, представленные в рамках Парижского соглашения, в совокупности значительно уступают тому, что IPCC оценивает как необходимое для достижения цели в 1,5 градуса. Механизм соблюдения — прозрачность и политическое давление, а не формальные санкции. Страны, не выполняющие собственные цели, сталкиваются с публичной критикой в следующем цикле обзора, но не несут юридических последствий.
Три структурные слабости в климатической модели
Три особенности климатического КС, ограничившие его эффективность, напрямую перейдут на КС по управлению ASI, если он примет ту же структуру.
Требования консенсуса. Большинство решений КС требуют согласия всех сторон, давая любой стране фактическое право вето на итог. Это приводит к формулировкам, согласованным до уровня амбиций, который примет самая сопротивляющаяся сторона; в последовательных климатических КС это означало язык о «поэтапном сокращении», а не «поэтапном отказе» от ископаемого топлива, о «путях» к нулевым выбросам, а не о жёстких графиках, и об «учёте» научных выводов, а не об их формальном принятии. Международные переговоры на основе консенсуса систематически производят результаты на уровне наименьшего общего знаменателя политической осуществимости среди участвующих сторон.
Самостоятельное определение обязательств. Модель национально определяемых вкладов решила проблему участия, созданную Киотским протоколом, но породила проблему амбиций. Когда страны сами устанавливают цели без обязательного минимума, эти цели отражают внутренние политические ограничения не меньше, чем технические требования цели. Страны с мощной топливной промышленностью ставят цели, которые эта промышленность способна выполнить. Страны, ожидающие скорых выборов, ставят цели, которые политически приемлемы в ближайшей перспективе. Суммарный результат — разрыв между заявленными амбициями и совокупным сокращением, необходимым по расчётам, который обзоры COP фиксируют, но не могут устранить без механизма, обязывающего повышать амбиции.
Парижское соглашение решило проблему участия, возникшую в Киотском протоколе, позволив странам самим устанавливать цели. Жёсткие национальные обязательства Киото привели к выходу США, Канады, Японии и России. Париж добился почти всеобщего участия. Но почти всеобщее участие с национально определяемыми и необязательными целями создаёт провал в управлении именно там, где оно нужнее всего: когда разрыв между заявленными амбициями и необходимыми действиями максимален. Управление ASI сталкивается с той же дилеммой.
Проблема правоприменения. Механизм соблюдения Парижского соглашения, созданный по статье 15, прямо назван неконфликтным и непредусматривающим наказаний. Он работает через прозрачность: страны отчитываются о прогрессе, КС рассматривает отчёты, а политическое и репутационное давление публичной оценки остаётся главным последствием невыполнения. В климатической сфере это уже десятилетиями даёт документированные отставания при слабой реакции. Для ИИ, где один год неконтролируемой разработки на передовом уровне может создать возможности, опережающие любой механизм управления, механизма только прозрачности будет структурно недостаточно.
Где структура КСВ работает
Слабости климатических COP хорошо известны. Их сильные стороны упоминают реже, но они важны для проектирования управления ASI.
Регулярные встречи сами по себе являются механизмом управления. Ежегодные встречи КС создают политический календарь, ежегодно концентрирующий внимание на лежащей в основе проблеме управления. Гражданское общество, журналисты и политики воспринимают встречи КС как моменты отчётности независимо от наличия формального принуждения. Политическая цена видимого несоблюдения, задокументированного в мировой прессе на ежегодном обзоре КС, побуждала некоторые правительства укреплять национальные обязательства. Регулярные встречи также предоставляют площадку для побочных соглашений, технических рабочих групп и двусторонних переговоров, которые труднее организовать без повторяющегося глобального форума.
Прогрессивные структуры обязательств могут работать на длительных временных горизонтах. Механизм «храповик» в Парижском соглашении, требующий, чтобы каждое последующее национально определяемое обязательство было не менее амбициозным, чем предыдущее, создаёт юридическую обязанность направленного улучшения даже без жёсткого нижнего порога. За десятилетия это может привести к значительному совокупному движению, поскольку политическая «база» текущей политики становится всё более амбициозной. Для такой проблемы управления, как климат, где последствия провала политики накапливаются десятилетиями, этот медленный храповик может оказаться достаточным. Для управления ASI, где катастрофические исходы могут наступить за годы, а не десятилетия, он слишком медленный.
Процесс COP оказался наиболее эффективным в создании нормативной рамки, внутри которой действует глобальная внутренняя климатическая политика. Цель Парижского соглашения в 1,5 градуса теперь служит точкой отсчёта, по которой оценивают национальную климатическую политику практически в каждой стране. Эта нормативная функция — создание общего стандарта, которому должна соответствовать внутренняя политика, — то, чего уже начал достигать процесс саммитов по безопасности ИИ и что стоит продолжать.
Что нужно более сильному COP по управлению ASI
Процесс управления ASI по образцу структуры COP, но спроектированный так, чтобы избежать пробела в исполнении климатических COP, потребует трёх особенностей, которые Парижское соглашение намеренно опускает.
Обязательные минимальные обязательства. Вместо определяемых на национальном уровне вкладов без обязательного нижнего порога договор о ASI-управлении мог бы установить обязательные минимальные обязательства, которые должны выполнять все стороны, в сочетании со структурой национально определяемых вкладов для мер сверх этого порога. Обязательный минимум охватывал бы деятельность высочайшего риска: обучение фронтирных моделей выше определённого порога вычислений, развёртывание ИИ-систем в указанных высокорискованных областях и обязательные оценки безопасности перед развёртыванием. Страны могли бы идти дальше, но не меньше.
Независимый орган верификации. Климатический COP опирается на национальные инвентаризации, предоставляемые самими странами, с независимой проверкой техническими экспертными группами под UNFCCC. Орган верификации ASI-управления с прямым доступом к необходимой информации, аналогичный инспекторату OPCW, даст более надёжную оценку соблюдения, чем самоотчётность. Это единственное структурное отличие между КХО и Конвенцией о биологическом оружии, которое наиболее ясно объясняет разницу в их эффективности.
Последствия с реальными зубами. Последствия за несоблюдение, выходящие за рамки прозрачности, потребуют привязать рыночные преимущества договора к соблюдению его требований безопасности. Государства, не выполняющие обязательные минимальные требования, потеряют льготный доступ на рынок и схемы совместного использования технологий, которые даёт членство в договоре. Так возникает структура последствий, не требующая санкции Совета Безопасности и напрямую затрагивающая конкурентные интересы, стимулирующие развитие ИИ.
"Климатические конференции COP показывают, что регулярные международные встречи могут создать нормативную рамку и политический календарь вокруг проблемы управления. Они также показывают, что этого недостаточно, если лежащие в основе обязательства не имеют обязательных нижних порогов, а механизм принуждения — формальных последствий. Управление ASI может использовать структуру COP и учесть эти конкретные недостатки дизайна."
Процесс саммитов по безопасности ИИ, начавшийся в Блетчли, стоит развивать, а не отбрасывать. Ежегодные или раз в два года саммиты создают именно ту регулярную международную повестку, которая нужна управлению. Вопрос в том, останутся ли саммиты площадкой для добровольных обязательств или станут органом управления договора с юридически обязывающими нормами и работающей системой верификации и принуждения. Ответ на этот вопрос дадут не сами саммиты, а решения, которые правительства примут между ними.