В литературе по управлению безопасностью ИИ заметен перекос в сторону успешных аналогий. Часто ссылаются на Конвенцию о химическом оружии. Монреальский протокол появляется почти в каждом серьёзном обсуждении. Система IAEA ядерных гарантий преподносится как модель того, как могла бы выглядеть мониторинговая структура по ИИ. Эти примеры полезны, но дают неполную картину того, чего международное управление может и не может достичь.
Особенно выделяются два: Договор о всеобъемлющем запрещении ядерных испытаний, который так и не вступил в силу, и Конвенция о запрещении биологического и токсинного оружия, у которой нет механизма верификации и которая массово нарушалась в течение двух десятилетий.
Неудачи не менее поучительны, а в чём-то даже полезнее. Они показывают конкретные проектные решения и политические условия, из-за которых режимы управления ломаются или не дотягивают. Для управления ASI, которое ещё только предстоит создать, понимание этих режимов отказа важнее, чем изучение историй успеха: именно проектные решения, от которых зависит успех или провал, пока остаются открытыми.
Режим отказа один: ловушка вступления в силу
Договор о всеобъемлющем запрещении ядерных испытаний был открыт для подписания в сентябре 1996 года. К 2026 году его подписали 187 стран и ратифицировали 178. Он не вступил в силу.
Причина — статья XIV, требующая, чтобы договор вступил в силу только после ратификации всеми 44 государствами, у которых на момент переговоров были атомные электростанции или исследовательские реакторы. Этот список из 44 государств Приложения 2 был задуман, чтобы договор охватывал наиболее релевантные для ядерных испытаний страны. Вместо этого он стал постоянным правом вето, удерживаемым восемью странами: Китаем, Египтом, Индией, Ираном, Израилем, КНДР, Пакистаном и США. Пока все восемь не ратифицируют договор, ДВЗЯИ не может вступить в силу, независимо от того, сколько других государств это сделали.
ДВЗЯИ не оказался бесполезным. Организация по Договору о всеобъемлющем запрещении ядерных испытаний управляет глобальной системой мониторинга сейсмических, гидроакустических, инфразвуковых и радионуклидных станций, способных с высокой надёжностью обнаруживать ядерные испытания. Этот мониторинг уже дал реальную разведывательную информацию о ядерных программах государств, не подписавших договор, включая шесть ядерных испытаний Северной Кореи между 2006 и 2017 годами. Мониторинг ОДВЗЯИ не существовал бы без договорной рамки, даже в её нынешнем provisional применении. Но ключевое обязательство договора — запрет ядерных испытаний — не имеет юридической силы для государств, наиболее склонных проводить испытания, поскольку договор так и не вступил в силу.
Положение ДВЗЯИ о вступлении в силу, требующее ратификации всеми 44 указанными государствами, задумывалось для всеобщего охвата ключевых игроков. Вместо этого оно создало структуру, где любое одно значимое государство может блокировать весь режим на неопределённый срок. Договор ASI с аналогичным условием — ратификация США, Китая, России, EU и всех крупных разработчиков ИИ — столкнётся с той же уязвимостью. Договор должен вступать в силу среди готовых сторон по достижении определённого порога, а не требовать всеобщего согласия как предварительного условия.
Для управления ASI провал CTBT указывает на конкретный конструктивный выбор: положения о вступлении в силу. Договор, требующий участия всех основных государств — разработчиков ИИ до вступления в силу, отдаёт каждому из них одностороннюю блокирующую власть над всем режимом. US, Китай, EU, UK и, возможно, ещё пять-десять государств можно перечислить как обязательных участников, и любой из них сможет предотвратить вступление договора в силу на неопределённый срок.
Более устойчивая конструкция позволяет договору вступить в силу среди критической массы желающих участников, создавая действующий режим управления, при этом оставляя возможность для остальных присоединиться позже. Неприсоединившиеся стороны лишаются выгод договора (совместные технологии, преференции доступа к рынкам, совместные исследования безопасности), что создаёт стимулы к вступлению. Эффективность режима среди участников одновременно демонстрирует модель управления и снижает неопределённость относительно последствий присоединения. Именно так действовали Договор о запрете мин и Римский статут Международного уголовного суда.
Второй режим отказа: запрет без верификации
Конвенция о биологическом оружии была открыта для подписания в 1972 году и вступила в силу в 1975 году. Она запрещает разработку, производство и накопление биологического оружия и обязывает государства уничтожить имеющиеся запасы. У неё 183 государства-участника. У неё нет механизма верификации, инспектората и официального органа, уполномоченного расследовать предполагаемые нарушения или выносить заключения о несоблюдении.
Советский Союз ратифицировал Конвенцию о биологическом оружии в 1975 году. В 1973 году, за два года до ратификации, Совет министров СССР утвердил создание «Биопрепарата» — сети номинально гражданских научно-исследовательских институтов, ставшей крупнейшей в мире наступательной программой биологического оружия. На пике в 1980-х годах «Биопрепарат» насчитывал около 60 000 сотрудников и производил в промышленных масштабах чуму, оспу и сибирскую язву, а также генетически модифицированные штаммы, устойчивые к антибиотикам и вакцинам. Эта программа работала в прямом и полном нарушении Конвенции на протяжении 1970–1980-х годов, пока её не раскрыли перебежчики после распада USСР. Режим Конвенции не имел возможности её обнаружить.
Это самый серьёзный провал верификации в сфере контроля над вооружениями послевоенного периода. Запрет, который нельзя проверить, — это норма, а не механизм подотчётности. Он создаёт публичный стандарт приемлемого поведения, который в многих случаях реально влияет на действия государств, но структурно не способен выявить систематические нарушения со стороны государств, имеющих средства и мотив нарушать тайно.
Переговоры о добавлении протокола верификации к Конвенции о биологическом оружии шли с 1995 по 2001 год. Соединённые Штаты отклонили предложенный протокол в июле 2001-го, заявив, что процедуры инспекций одновременно слишком intrusive для легальной коммерческой биотехнологии и слишком слабы, чтобы надёжно выявлять нарушения. Переговоры сорвались и с тех пор не возобновлялись в форме, способной создать обязательный механизм верификации. Конвенция остаётся в силе как норма без органа верификации.
Что означает провал КБО для управления ASI
Аналогия между биологическим оружием и ИИ не идеальна, но несколько черт провала КБО непосредственно переносятся на управление ASI.
Двойное назначение — центральная проблема верификации. Биологическое оружие производят с помощью лабораторного оборудования, знаний и процессов, практически идентичных легитимным фармацевтическим и медико-санитарным исследованиям. Различить наступательные и оборонительные исследования или гражданские и военные применения требует высококвалифицированных инспекторов с доступом к конфиденциальной коммерческой и технической информации, и даже тогда во многих случаях остаётся подлинная неоднозначность. Из-за этого двойного назначения протокол верификации для КБО стал одновременно технически сложным и политически спорным — в отличие от верификации химического или ядерного оружия, где признаки гораздо яснее.
У ИИ тот же двойной характер применения, но на более фундаментальном уровне. Большая языковая модель, обученная генерировать естественный язык, технически неотличима от модели, обученной вести масштабную убеждающую коммуникацию. Модель, обученная помогать в научных исследованиях, технически идентична модели, обученной для автономных действий в высокорискованных средах. Способности, делающие передовой ИИ коммерчески ценным, одновременно делают его потенциально опасным. Верификация управления ASI сталкивается с той же проблемой, которая сорвала верификацию КБО: нужно отличать опасные применения от легитимных при технически идентичных системах.
«Конвенция о биологическом оружии показывает, что именно даёт запрет без верификации со временем. Широко принятая норма, которую крупная держава демонстративно нарушала в промышленных масштабах двадцать лет, без механизма обнаружения или реагирования на нарушение. Для управления ASI это стандартный исход, если верификацию откладывают на будущий протокол, который может так и не появиться, а не теоретическая проблема».
Урок не в том, что верификация для ИИ невозможна, а в том, что верификацию нужно закладывать в договор с самого начала, а не откладывать на последующий протокол. Переговоры о верификации по КБО провалились после двадцати шести лет усилий. Договор по управлению ASI, который сначала устанавливает запрет, а верификационную архитектуру откладывает на потом, рискует тем же исходом: нормой без механизма подотчётности, существующей параллельно с программами разработки, которые она не может видеть.
Режим отказа три: выход без затрат
Северная Корея присоединилась к Договору о нераспространении ядерного оружия в 1985 году, объявила о выходе в 1993 и снова в 2003 году и провела первое ядерное испытание в 2006 году. Положение о выходе NPT, статья X, позволяет любому государству выйти с уведомлением за девяносто дней, если оно решит, что чрезвычайные события поставили под угрозу его высшие национальные интересы. Выход Северной Кореи произошёл после того, как IAEA признала её нарушающей обязательства по гарантиям, и выход фактически прекратил возможность IAEA отслеживать ядерную программу Северной Кореи.
Для управления ASI прецедент NPT/Северная Корея указывает на важность стоимости выхода. Договор, из которого можно выйти за девяносто дней без штрафа, даёт слабые гарантии, потому что государство, желающее заниматься запрещённой деятельностью, может просто выйти до того, как эта деятельность станет заметной. Положения о выходе в договоре по управлению ASI должны включать: определённый срок уведомления, достаточный для реагирования органов договора и других сторон; сохранение прав инспекции на определённый период после уведомления о выходе; и автоматическое приостановление выгод с момента уведомления о намерении выйти, а не с момента фактического выхода.
Такие проектные решения не предотвратят выход из договора, но сделают его дорогостоящим и заметным, а не рутинным и незаметным. Цель — не запереть государства в обязательствах, которые они отвергают, а обеспечить, чтобы сам факт выхода из режима стал политически значимым событием, привлекающим международное внимание и дипломатический отклик.
Разработчики управления ASI имеют преимущество: они могут изучить эти неудачи до написания соответствующих положений. Проблемы ДВЗЯИ, КБО и NPT полностью задокументированы, проанализированы и доступны. Выборы в проектировании, которые привели к этим неудачам, можно избежать. Вопрос лишь в том, позволит ли политический процесс создания договора об управлении ASI сохранить технические выводы из этих неудач при столкновении с переговорными позициями ведущих держав.
Самое жёсткое возражение
Самое справедливое возражение: провал договоров доказывает, что договоры никогда не работают. Провал конструкций доказывает плохие пункты. Ловушки вступления в силу, отсутствие верификации и лёгкий выход — это исправимые ошибки drafting. Урок в том, чтобы написать противоположное, а не отказаться от права.