Хорошо известно, что разработчики ИИ знают о рисках своих систем больше, чем говорят публично. Внутренние команды безопасности крупных лабораторий ИИ задокументировали серьёзные опасения. Исследователи, ушедшие из этих лабораторий, рассказывают о внутренних дебатах о том, не слишком ли быстро разворачивают нынешние системы. Опасения по безопасности известны и во многих случаях частично учитываются, но разработка при этом продолжается, а не остаётся неизвестной.
Ни одна лаборатория и ни одна страна не могут решить эту проблему стимулов в одиночку, делая более правильный выбор. Требуется многостороннее управление.
Это история о проблеме координации, в которой даже сознательные к безопасности участники сталкиваются со структурными стимулами, толкающими их к более быстрой разработке и развёртыванию, чем рекомендуют их собственные оценки рисков, а не в первую очередь история о плохих акторах. Понимание этих стимулов (динамики гонки ИИ) необходимо, чтобы понять, почему индивидуальных обязательств организаций по безопасности недостаточно и какие структуры управления действительно требуются.
Структура гонки
Базовая структура динамики гонки ИИ проста. Несколько акторов (компании внутри страны, страны в мире) соревнуются, чтобы создать самые способные ИИ-системы и первыми их развернуть. Инвестиции в безопасность требуют времени и ресурсов, которые иначе можно направить на ускорение развития способностей. Любой актор, который замедлится ради серьёзных вложений в безопасность, отстанет от тех, кто этого не делает. Победителем гонки, по структурному стимулу, скорее всего окажется тот, кто наиболее агрессивно жертвовал безопасностью ради скорости.
Это создаёт динамику, в которой сознательные к безопасности участники оказываются перед выбором из двух плохих вариантов. Они могут сохранять свои стандарты безопасности и отстать, в результате чего фронтир формируют менее сознательные к безопасности игроки. Или они могут снизить инвестиции в безопасность, чтобы оставаться конкурентоспособными, в результате чего их собственные стандарты деградируют. В любом случае конкурентное давление систематически порождает исходы, худшие, чем предпочёл бы любой отдельный участник при возможности координации.
Если одна лаборатория замедлится, а соперник — нет, осторожная лаборатория потеряет долю рынка, и гонка сохранит темп. Эта простая матрица выигрышей объясняет, почему стратегия «мы будем ответственными» не работает. Безопасность, зависящая от одностороннего сдерживания, — это дар наименее сдержанному игроку, а не стратегия.
Национальное измерение
Динамику гонки на уровне лабораторий в принципе можно решить через внутреннее регулирование: правительство может одновременно ввести требования безопасности для всех лабораторий ИИ в своей юрисдикции, устранив конкурентный недостаток инвестиций в безопасность внутри этой юрисдикции. Именно поэтому внутреннее регулирование ИИ имеет значение. Оно может решить проблему координации внутри страны, даже если не решает проблему между странами.
Гонка на национальном уровне структурно сложнее. Конкуренцию US и Китая в области ИИ часто описывают как стратегическую гонку со значимыми геополитическими последствиями, и такая рамка порождает ту же структуру стимулов на государственном уровне: любая страна, которая замедлится ради безопасности, отстанет от тех, кто не замедляется. Опасение, что регулирование безопасности создаёт стратегическое отставание по сравнению с менее регулируемыми конкурентами, — это реальная проблема координации, а не недобросовестный аргумент.
Вот почему чисто внутреннее регулирование ИИ (даже жёсткое внутреннее регулирование) недостаточно как ответ на динамику гонки ИИ пробел в международном управлении это структурная проблема координации, требующая многосторонних рамок с механизмами принуждения, аналогичных договорам по контролю над вооружениями, частично решившим ядерную гонку, а не техническая проблема о том, у какой страны лучшее регулирование.
Прецеденты разрешения гонки динамики
Опасение, что координация в гонках опасных технологий политически невозможна, не соответствует историческому опыту. US и Советский Союз в разгар холодной войны заключили договоры ОСВ-1 и ОСВ-2, наложившие обязательные ограничения на самые опасные вооружения обеих сторон, несмотря на глубокое недоверие и продолжающееся стратегическое соперничество. Конвенция о запрещении химического оружия запретила целую категорию вооружений почти во всех странах мира. Конвенция о запрещении биологического оружия сделала то же самое с биологическим оружием. Монреальский протокол скоординировал глобальный отказ от веществ, разрушающих озоновый слой.
Ни одно из них не было достигнуто без трудностей, дефектов и проблем с обеспечением. Все они представляли собой настоящие улучшения по сравнению с несогласованными гонками исторический прецедент международной координации по опасным технологиям более обширна, чем предполагает пессимистичное обрамление обсуждений управления ASI.
Почему «лаборатории, осознающие безопасность, должны выиграть гонку» происходит независимо от предпочтений сторонников безопасности, наличие на передовой акторов, осознающих безопасность, лучше, чем наличие безразличных к безопасности, недостаточно
Распространённый ответ на опасения по поводу гонки ИИ состоит в том, что решение — это успех лабораторий, ориентированных на безопасность, чтобы передний край формировали те, кому безопасность небезразлична.
У этого аргумента есть ограничения, которые стоит чётко обозначить. Во-первых, нахождение на передовом рубеже не устраняет гонку. Оно лишь делает лабораторию, заботящуюся о безопасности, той, которая теперь испытывает конкурентное давление и вынуждена срезать углы, чтобы удержаться на переднем крае. Во-вторых, аргумент о конкурентном давлении можно использовать для оправдания любого ускорения, потому что всегда найдётся менее ответственный конкурент, на которого можно сослаться. В-третьих, аргумент опирается на победу лабораторий, заботящихся о безопасности, но не предлагает механизма, который это обеспечит. Это надежда, а не структура управления.
Разрешить динамику гонки ИИ требует того же, что частично разрешило гонку ядерных вооружений: согласованных ограничений, одновременно обязательных для всех крупных игроков, с механизмами проверки для обнаружения отклонений и механизмами принуждения для их сдерживания. Это проблема многостороннего управления. Структуры сдерживания вроде MAIM описывают противостояние между соревнующимися государствами, но не разрешают саму гонку. Фонда предложения по управлению are structured around this requirement, not around the hope that the right labs finish first.