У мира появился первый договор об ИИ.
Вот что он не охватывает.

5 сентября 2024 года в Вильнюсе, Литва, представители США, Великобритании, Европейского союза и десятков других стран подписали Рамочную конвенцию об искусственном интеллекте, правах человека, демократии и верховенстве права. Это первый юридически обязывающий международный договор об искусственном интеллекте. Его стоит понять чётко — и то, чего он достигает, и то, для решения какой проблемы он никогда не предназначался.

Что на самом деле охватывает договор

Рамочная конвенция — инструмент в сфере прав человека. Её юридические обязательства сосредоточены на том, чтобы системы ИИ не подрывали демократию, права человека или верховенство закона. На практике это означает:

• Требования к прозрачности: люди должны быть уведомлены, когда системы ИИ влияют на решения, касающиеся их
• Механизмы подотчётности: государства должны гарантировать, что разработчики и операторы ИИ могут нести ответственность за вред
• Недискриминация: системы ИИ не должны производить результаты, нарушающие существующее законодательство о равенстве
• Эффективное средство правовой защиты: люди, пострадавшие от ИИ, должны иметь доступ к судебной защите
• Демократические гарантии: ИИ не должен использоваться для подрыва избирательных процессов или верховенства права

Это значимые обязательства. Алгоритм найма на основе ИИ, дискриминирующий по расе, система распознавания лиц, развёрнутая без прозрачности, дезинформационная кампания, сгенерированная ИИ, — всё это прямо охватывается рамками договора. Подписавшие стороны приняли юридически обязывающие обязательства предотвращать их.

Механизмом исполнения служит Конференция сторон, которая следит за выполнением и может выпускать рекомендации. Это мягче режима верификации Конвенции о химическом оружии или инспекционных протоколов Договора о нераспространении ядерного оружия, но это закрепляет принцип, что ИИ подпадает под обязательное международное право; до сентября 2024 года этот принцип не был установлен, и его появление — реальный шаг вперёд.

Что не покрывает договор

Рамочная конвенция регулирует, как ИИ используется в обществе. Она не регулирует, следует ли вообще разрабатывать системы ИИ, способные создавать цивилизационный риск.

Рамка рисков договора настроена на нынешние и ближайшие вреда от ИИ — реальные и серьёзные проблемы, которые сегодняшние системы уже причиняют. Это правильный масштаб для документа, призванного защищать права человека в обществах, затронутых ИИ. Это неверный масштаб для документа, призванного предотвратить цивилизационную катастрофу от искусственного сверхразума.

В тексте договора ни разу не встречается слово «сверхинтеллект». Договор не накладывает обязательств на гонку фронтирной разработки ИИ. В нём ничего не говорится об управлении вычислительными мощностями, о размере тренировочных запусков, о проблеме согласования или о сценарии, который занимает Джеффри Хинтона, Йошуа Бенжио и других исследователей, чьи предупреждения накапливались последние десять лет.

Почему это различие важно

Опасность принять Рамочную конвенцию за полноценное управление — не гипотеза, а естественный итог политического процесса, порождающего международные соглашения: как только договор появляется, давление на его создание спадает. Страны, подписавшие конвенцию, могут ссылаться на неё как на доказательство, что ИИ уже регулируется. Более жёсткий разговор — о том, должны ли самые мощные разрабатываемые системы ИИ подчиняться обязательным международным ограничениям на разработку, а не только на применение — после объявления о «достигнутом управлении» становится только сложнее.

Рамочная конвенция регулирует тот же ИИ, который уже регулируется существующим правом в области прав человека и равенства, и распространяет эти принципы на контекст ИИ, делая их обязательными на международном уровне. Это ценно. Но это не ответ на риск, что достаточно способная система ИИ, преследующая цели, тонко расходящиеся с благополучием человека, может причинить вред в масштабе, который не поддаётся правовому возмещению, потому что вред необратим.

«Цель в том, чтобы разработка ИИ шла успешно и для самого ИИ, и для людей. Для этого нужно относиться к ней как к цивилизационной проблеме, а не как к вопросу ответственности производителя.»

Что потребует договор о безопасности передовых ИИ

Договор, предназначенный для решения риска от искусственного сверхинтеллекта, выглядел бы совсем иначе, чем Рамочная конвенция. Предлагаемая Nakada Foundation структура описывает, что должен включать такой договор:

• Управление вычислительными ресурсами: binding limits на computational resources, которые можно применить к одному training run, подкреплённые hardware-level verification. Compute — bottleneck в развитии frontier ИИ и единственная переменная, сейчас measurable и enforceable на международном уровне.
• Независимая верификация: механизм мониторинга, аналогичный ядерным инспекциям, позволяющий сторонам проверять соблюдение обязательств, а не полагаться на самоотчёт организаций, которым выгоднее всего их нарушить.
• Освещение передового ИИ: обязательства, которые применяются именно к разработке самых мощных ИИ-систем, а не только к их развёртыванию в социальных контекстах.
• Включение US-Китая: любой договор, не обязывающий две ведущие страны-разработчика ИИ, будет структурно неполноценным, сколько бы других стран его ни подписали.

Рамочная конвенция — необходимый первый шаг. Признание того, что ИИ подпадает под обязательное международное право, — важный прецедент. Но история управления экзистенциальными технологиями (ядерное, химическое, биологическое) показывает, что первый договор в области редко касается самой серьёзной угрозы. Требуются годы устойчивых политических усилий, чтобы создать рамки, реально сдерживающие самое опасное.

Эта политическая работа должна начаться сейчас — не после того, как Рамочная конвенция объявит проблему решённой, и не после того, как появятся возможности, делающие обязательные ограничения неисполнимыми.