Возражение суверенитета против международного управления ASI состоит в том, что решения о том, какие технологии страна может разрабатывать и внедрять, — это внутренние решения, принимаемые национальными правительствами, подотчётными своим гражданам. Юридически обязывающий международный договор, ограничивающий разработку ИИ, передаст реальную власть над этими решениями международному органу или праву вето других стран. Это нарушает суверенитет. Аргумент преподносится так, будто он возник именно в дебатах об ИИ. Это не так. Точно такие же доводы выдвигались против NPT, Конвенции о химическом оружии, Монреальского протокола и всех других крупных международных договоров, ограничивавших свободу действий государств в отношении опасных технологий. В каждом случае этот аргумент в итоге удалось преодолеть. Понимание того, как это произошло, полезно.
NPT был подписан 62 странами в 1968 году в любом случае. Вот как это произошло и что это значит для ИИ.
Что на самом деле утверждает аргумент суверенитета
Аргумент сильнее всего работает в отношении военных технологий. Страны, сталкивающиеся с реальными угрозами безопасности, имеют конкретный интерес сохранять свободу действий в отношении своих военных возможностей. Связать их международными ограничениями на разработку ИИ в военных целях — значит принять ограничения, которые противники могут не принять, в сфере, где возможности напрямую влияют на выживание государства. Это самая жёсткая версия возражения о суверенитете, и она повторяет позицию ядерных держав на протяжении всей холодной войны.
Аргумент заметно слабеет, когда речь идёт о гражданской разработке ИИ. Национальная безопасность ни одной страны не зависит от возможности проводить неконтролируемое коммерческое обучение ИИ. Стоимость суверенитета от объявления и мониторинга крупномасштабных гражданских программ ИИ невелика. Политическое использование аргумента о суверенитете часто выходит далеко за пределы случаев, где лежащая в основе озабоченность действительно legitimate.
Разделение кейсов важно для дизайна договора. Рамки управления, которые касаются конкретных видов деятельности, где суверенные опасения реальны, — крупномасштабных программ разработки ИИ с потенциалом цивилизационного воздействия, — можно построить так, чтобы гражданский и коммерческий ИИ остались в основном незатронутыми, существенно ослабив силу возражения.
Как был разрешён аргумент о ядерном суверенитете
NPT не устранил возражение о суверенитете. Он его переформулировал. Договор создал формальную архитектуру суверенного выбора: страны могли присоединиться и принять обязательства по гарантиям или остаться вне договора и столкнуться с политическими и экономическими последствиями пребывания за пределами международной системы. Пяти объявленным ядерным державам разрешили сохранить оружие в обмен на обязательства по нераспространению и разоружению. Безъядерные государства согласились на мониторинг своих гражданских ядерных программ в обмен на гарантированный доступ к мирным ядерным технологиям и гарантии безопасности.
Механизм, обеспечивший работу, заключался в том, что суверенитет сохранялся по форме, но существенно ограничивался на практике. Страны — участники NPT в принципе могут выйти из договора: статья X позволяет выйти с уведомлением за 90 дней, как это сделала Северная Корея в 2003 году. Но политическая и экономическая цена выхода высока. Аргумент о суверенитете гласил, что страны не могут принять внешние ограничения своих ядерных решений. NPT решил эту проблему, сделав выбор формальным и видимым, но цену неправильного выбора — достаточно высокой, чтобы почти все страны предпочли присоединиться.
В итоге получился договор, к которому сегодня присоединились 191 государство. Девять стран обладают ядерным оружием. Только три страны — Индия, Пакистан и Израиль — никогда не присоединялись к NPT. Северная Корея вышла и теперь имеет оружие. Возражение о суверенитете, казавшееся достаточно сильным, чтобы предотвратить любое обязательное ядерное регулирование в начале 1960-х, привело к миру, в котором 191 правительство приняло обязательные обязательства по мониторингу своих ядерных программ.
Как был разрешён аргумент о суверенитете в отношении химического оружия
Конвенция о химическом оружии (1993) предлагает другую модель. В отличие от NPT, создающего формальный двухуровневый мир ядерных «имущих» и «неимущих», КХО запрещает химическое оружие для всех, включая крупные державы, которые её согласовывали. Соединённые Штаты и Советский Союз, обладавшие крупнейшими в мире запасами химического оружия, приняли обязательства заявить о них и уничтожить под международным контролем.
Суверенитет в рамках КХО подразумевает право национальных химических отраслей продолжать работу в гражданских целях под наблюдением. Страны могут сохранять химическую промышленность. Они не могут сохранять химическое оружие. Организация по запрещению химического оружия инспектирует заявленные объекты и расследует обвинения в нарушениях. Страны сохраняют суверенитет над своими гражданскими химическими секторами, но отказались от суверенитета в отношении одного конкретного применения этих секторов.
Эта модель может быть применимее к ИИ, чем модель NPT, поскольку разработка ИИ преимущественно гражданская и двойного назначения. Договор, ограничивающий создание самых мощных передовых ИИ-систем (выше заданных порогов по возможностям или вычислениям) и оставляющий коммерческий и потребительский ИИ полностью нерегулируемым, следовал бы логике КХО, а не NPT. Стоимость суверенитета в таком договоре ниже, чем у NPT, поскольку он не создаёт постоянной иерархии разрешённых и запрещённых возможностей в зависимости от того, кто чем владел на момент подписания.
Модель озонового слоя и научный консенсус
Монреальский протокол по веществам, разрушающим озоновый слой (1987), решил возражение по поводу суверенитета иным способом: научный консенсус сделал неучастие политически неприемлемым. Когда стало ясно, что хлорфторуглероды вызывают измеримый ущерб озоновому слою и что истощение озона нанесёт измеримый вред каждой стране на Земле, аргумент о суверенитете против присоединения к протоколу стало трудно отстаивать во внутренней политике. Правительства, ссылавшиеся на суверенитет, чтобы избежать ограничений ХФУ, сталкивались с вопросом, какой суверенитет они защищают, если следствием станет вред собственным гражданам от ультрафиолетового излучения.
Монреальский протокол также включал механизм передачи технологий. Развивающиеся страны, которые несли бы экономические издержки отказа от ХФУ, получали помощь — финансовую и технологическую — для облегчения соблюдения. Это решало версию аргумента о суверенитете, согласно которой международные экологические соглашения обременяют развивающиеся страны, заставляя их платить за проблемы, созданные богатыми. К 2009 году Монреальский протокол достиг всеобщей ратификации: 197 участников, все государства-члены UN.
Параллель с ИИ неидеальна, потому что научный консенсус по экзистенциальным рискам ИИ не так един, как консенсус по озону к 1987 году. Но модель Монреальского протокола показывает, что более чёткий и публичный экспертный консенсус по рискам ИИ существенно изменит политическую динамику возражения о суверенитете. Чем конкретнее понимается риск, тем менее устойчивым становится аргумент о суверенитете.
Что остаётся действительно сложным
Возражение, основанное на суверенитете, — это не просто отговорка правительств, чтобы избежать неудобных обязательств. Оно отражает реальные политические ограничения. Правительства отвечают перед внутренней аудиторией, которая ожидает от них сохранения национальных возможностей и свободы действий. Договоры, требующие от страны принять ограничения, которых не приняли соперники, сталкиваются с устойчивым внутренним сопротивлением, как это произошло с договором ОСВ-2 в Соединённых Штатах после советского вмешательства в Афганистан в 1979 году, когда Сенат отказался ратифицировать уже подписанный договор.
Для ИИ ограничение острее всего в отношениях US и Китая. Договор ASI, обязывающий США, но не Китай, или ратифицированный Китаем без реального исполнения, станет односторонним ограничением. Эта озабоченность часто звучит под лозунгом суверенитета, но точнее это проблема участия. Возражение по суверенитету можно решить конструкцией договора. Проблему участия решает только дипломатия — создание условий, при которых и US, и Китай сочтут присоединение к обязательной системе предпочтительнее, чем оставаться вне её.
Аргумент суверенитета против контроля над вооружениями приводили перед каждым крупным договором в истории. Он никогда не был последним словом.
История показывает, что возражение суверенитета против управления ASI — реальное политическое ограничение, которое нужно учитывать при проектировании, а не фундаментальный барьер. Договорные архитектуры, которые преуспели, делали это, сохраняя форму суверенного выбора, но делая стоимость неправильного выбора достаточно высокой. Тот же подход доступен и для управления ASI. Задача — создать политические условия, при которых правительства придут к выводу, что присоединение — правильный выбор; это вопрос общественного понимания, научного консенсуса и sustained дипломатических усилий, а не вопрос совместимости обязательного международного управления с суверенитетом.