Самое частое возражение против международного управления через ASI — что это невозможно. Век договоров говорит об обратном. Координация по общим рискам вымирания уже происходила; это проверенная практика серьёзных государств, а не утопия.
Ядерное оружие. Химическое оружие. Озоновый слой. Глобальная координация перед лицом экзистенциальных угроз — подтверждённое достижение человечества. Вопрос по ASI не в том, возможно ли это. Вопрос в том, успеем ли мы сделать это вовремя, с той политической волей, которую требовали предыдущие случаи.
Каждый раз, когда человечество сталкивалось с согласованной экзистенциальной угрозой, поднимались одни и те же возражения: проблема слишком сложна, противников слишком много, верификация слишком трудна, дефектность слишком вероятна. Каждый раз те, кто преодолевал эти возражения, создавали механизмы, которые, несмотря на несовершенства, предотвращали катастрофические исходы.
Закономерность достаточно устойчива, чтобы назвать её законом: когда угроза ясна, наука убедительна, а advocacy организовано, международная координация становится возможной. Не лёгкой. Не гарантированной. Но возможной.
Угроза ASI очевидна. Наука убедительна. Адвокация растёт. Сейчас нужно политическое давление, которое сделает координацию не просто возможной, а необходимой.
Четыре примера ниже — определяющие случаи того, чего может добиться человеческая цивилизация перед лицом угроз, которые не под силу решить ни одной стране. Каждый из них начинался с тех же возражений, что сегодня звучат против ASI-регулирования.
Ядерное оружие применили в войне в 1945 году. Уже через несколько лет несколько стран разработали или начали разрабатывать его. Перспектива появления десятков ядерных арсеналов означала риск уничтожения цивилизации. Критики говорили, что договор о нераспространении невозможен: слишком много участников, слишком много национальных интересов, нет способа проверить соблюдение.
Договор о нераспространении ядерного оружия был открыт для подписания в 1968 году и вступил в силу в 1970 году. Он создал рамки, в которых большинство стран согласились не разрабатывать ядерное оружие в обмен на доступ к мирным ядерным технологиям. Режим верификации через Международное агентство по атомной энергии отслеживал соблюдение.
Сегодня ядерным оружием обладают девять стран, хотя сотни могли бы его создать. Ни одно ядерное оружие не применялось в войне с 1945 года. NPT несовершенен, он не предотвратил все случаи распространения, но он предотвратил катастрофический сценарий, который критики называли неизбежным. Восемьдесят лет ядерного мира не случились случайно.
Международное агентство по атомной энергии было создано в 1957 году с мандатом содействовать мирному использованию ядерной энергии и предотвращать её переключение на военные цели. Его режим инспекций и гарантий позволяет международным инспекторам проверять, что ядерные материалы на заявленных объектах не обогащаются сверх гражданских нужд.
Этот режим мониторинга работает, потому что ядерные материалы, как и вычисления для ИИ, проходят через идентифицируемые узкие места. Уран нужно обогащать на конкретных объектах. Центрифуги отслеживаемы. IAEA разработал технические механизмы контроля технологии, чей двойной потенциал создавал экзистенциальный риск.
Параллель с ИИ прямая. Аппаратура, необходимая для обучения передовых моделей ИИ, — в частности, кластеры GPU производства NVIDIA и передовые полупроводники, изготавливаемые TSMC на оборудовании ASML, — сосредоточена таким образом, что технически возможно её отслеживать. Небольшое число компаний контролирует узкие места. Экспортный контроль уже пытается отслеживать эти чипы.
IAEA показывает, что международный мониторинг технологий двойного назначения уже является рабочей практикой. Институт действует почти семьдесят лет, проводя тысячи инспекций в десятках стран. Инфраструктура для того же с вычислительными мощностями ИИ существует. Требуется лишь политическая воля, а не технические инновации.
В середине 1970-х учёные установили, что хлорфторуглероды, используемые в холодильниках, аэрозолях и промышленных процессах, разрушают озоновый слой, защищающий планету от ультрафиолетового излучения. Без озонового слоя жизнь на Земле столкнётся с катастрофическими последствиями. Промышленность утверждала, что отказ от ХФУ экономически невозможен.
Монреальский протокол был подписан в 1987 году 46 странами и вступил в силу в 1989-м. Он поэтапно вывел из производства и потребления вещества, разрушающие озоновый слой, по обязательному международному графику. Развивающиеся страны получили продлённые сроки и финансовую поддержку. Договор ратифицировали все государства Земли — единственный международный договор с универсальной ратификацией.
Озоновый слой восстанавливается. Научные оценки прогнозируют возвращение к уровню 1980 года к середине этого века. Монреальский протокол часто называют самым успешным экологическим договором в истории. Химическая промышленность, которая сначала выступала против него, разработала альтернативные соединения и продолжила прибыльную работу. «Невозможное» оказалось не таким уж и невозможным.
Химическое оружие применялось в Первой мировой войне, в колониальных конфликтах и в ирано-иракской войне 1980-х. Конвенция о химическом оружии, открытая для подписания в 1993 году и вступившая в силу в 1997-м, запретила разработку, производство, накопление и применение химического оружия и потребовала проверенного уничтожения существующих запасов.
Более 190 стран ратифицировали Конвенцию. Государства со значительными запасами химического оружия, включая США и Россию, уничтожили их под международным контролем, осуществляемым Организацией по запрещению химического оружия, которая получила Нобелевскую премию мира в 2013 году.
Конвенция о химическом оружии показывает, что международные соглашения могут обеспечить проверенное уничтожение вооружений, в которые государства вложили десятилетия и миллиарды. Возражение, что страны не откажутся от стратегических преимуществ по требованию договора, уже неоднократно опровергнуто — в том числе в самых враждебных отношениях современной истории.
Нарушения Конвенции происходят и влекут международные последствия. Рамки — не идеальный инструмент. Однако они сделали применение химического оружия нормой, нарушающей правила и вызывающей глобальное осуждение и ответные меры, тогда как до Конвенции это был спорный военный вариант. Сам этот сдвиг в международной норме — форма успеха управления.
Все четыре случая устроены одинаково. В каждом угрозу сначала объявляли слишком умозрительной или слишком технически сложной для международного регулирования. В каждом отрасль утверждала, что регулирование экономически невозможно. В каждом верификацию называли фантазией. В каждом в итоге соглашение было достигнуто, механизмы верификации созданы, а угроза реально снижена.
Сегодня ASI сталкивается с точно такими же возражениями, в той же форме и от тех же типов участников. Технологические компании заявляют, что регулирование задушит инновации. Силовые структуры говорят, что противники нарушат правила. Комментаторы утверждают, что проблема слишком технически сложна для законодателей. Это не новые аргументы. Они старые и давно опровергнуты; любого, кто на них опирается, стоит спросить, какие прецеденты он игнорирует.
От предшествующих примеров ASI-управление отличает срочность. Договор о нераспространении ядерного оружия разрабатывался годами, пока ядерные арсеналы росли, но оставались под человеческим контролем. Монреальский протокол внедрялся десятилетиями, пока озоновый слой продолжал истощаться, но оставался восстановимым. Разработка ИИ движется быстрее, и создаваемые системы, достигнув достаточного уровня, могут сопротивляться управлению так, как не могут ни молекулы озона, ни ядерные боеголовки.
Это не повод для пессимизма. Это повод действовать быстрее, чем требовали прежние прецеденты. Мы знаем, что координация возможна. Мы знаем, что верификация возможна. Мы знаем, что сопротивление отрасли не мешает заключению международных соглашений. Сейчас нужна политическая воля, чтобы сжать сроки, а эта воля рождается у людей, которые понимают, что поставлено на карту, и отказываются ждать.
Присоединяйтесь к тем, кто строит политическую коалицию, которая сделает возможным управление ASI.