В Белом доме в июле 2023 года семь ведущих US-компаний по ИИ, включая OpenAI, Anthropic, Google, Meta и Microsoft, взяли на себя ряд добровольных мер по безопасности, защите и прозрачности. На Блетчлиской конференции по безопасности ИИ в ноябре 2023 года двадцать восемь стран подписали декларацию, признав общую обеспокоенность рисками передового ИИ. На Сеульской конференции по безопасности ИИ в июне 2024 года шестнадцать компаний подписали Frontier AI Safety Commitments, охватывающие пороги безопасности, оценку моделей и обмен информацией.
Добровольные корпоративные обязательства по безопасности имеют долгую историю в других отраслях, и эта история показывает, чего они могут и чего не могут достичь.
Это значительные политические достижения. Они означают, что ведущие разработчики передовых систем ИИ впервые публично признали: их работа несёт серьёзные риски и требует какой-то формы управления. Отвергать их было бы неправильно. Но считать их достаточными — ошибка более дорогая.
Что на самом деле требуют добровольные обязательства
Обязательства по безопасности передового ИИ, подписанные в Сеуле, — самые содержательные среди крупных обещаний. Подписанты обязались: определять пороги безопасности, при превышении которых они не будут развертывать или продолжать обучение модели; проводить и публиковать оценки своих передовых моделей по этим порогам; делиться информацией о инцидентах безопасности и оценках с правительствами и другими компаниями ИИ; инвестировать в исследования безопасности. Это настоящие обязательства в том смысле, что они требуют видимых действий, которые можно наблюдать и публично комментировать.
Чего они не требуют: независимой внешней проверки выполнения порогов; обязательных последствий за несоблюдение; какого-либо механизма принуждения против подписанта, не выполнившего условия; и участия компаний, которые не хотят подписываться. Обязательства — это лишь заявления о намерениях компаний, сохраняющих полную свободу интерпретации и реализации.
Это структура добровольного обязательства, и отличие от юридически обязывающего не тонкое. Добровольное обязательство связывает сторону морально и репутационно. Юридически обязывающее обязательство связывает их по закону, с формальными последствиями за несоблюдение. Разрыв между моральным и юридическим обязательством — это именно то место, где принимаются наиболее значимые решения по безопасности под давлением конкуренции.
Паттерн из других высокорискованных отраслей
Добровольные корпоративные обязательства по безопасности предшествовали обязательному регулированию в большинстве крупных высокорисковых отраслей, и закономерности того, что эти обязательства дали или не дали, довольно устойчивы.
В финансовой сфере крупные банки в 1990-х и начале 2000-х разработали отраслевые кодексы и практики управления рисками. Эти кодексы действовали и номинально применялись, когда финансовый кризис 2007–2009 годов показал, что добровольное управление рисками не предотвратило накопления системных рисков. За этим последовали Совет по финансовой стабильности, Базель III и расширенные требования обязательного раскрытия информации. Добровольные обязательства улучшили базовые практики, но оказались недостаточными на хвостовых рисках, где цена провала была наибольшей.
В химической промышленности программа Responsible Care была запущена в 1985 году после серии крупных аварий на химических заводах, включая Бхопал в 1984 году. Участвующие компании обязались улучшать показатели безопасности, здоровья и охраны окружающей среды и прозрачно отчитываться о прогрессе. Responsible Care улучшила культуру безопасности в отрасли и снизила частоту рутинных аварий в последующие десятилетия. Она не предотвратила серьёзных инцидентов и в итоге была дополнена обязательными нормативными требованиями. Собственная оценка программы показала, что её главным ограничением стало отсутствие независимой верификации.
Программа Responsible Care химической промышленности, запущенная в 1985 году, — ближайший исторический аналог нынешних обязательств по безопасности ИИ: добровольное отраслевое обещание, охватывающее безопасность, прозрачность и обмен информацией. Собственная оценка программы через два десятилетия показала, что её главное ограничение — отсутствие независимой верификации заявленных показателей. То же ограничение структурно присуще нынешним обязательствам по безопасности ИИ и порождает тот же разрыв: обещание результатов без механизма подтверждения, достигнуты ли они.
Безопасность атомных электростанций в США первоначально регулировалась в основном через саморегулирование и отраслевые стандарты. Авария на Три-Майл-Айленд в марте 1979 года показала, что добровольной культуры безопасности отрасли недостаточно для технологии, чьи сценарии отказа могут затронуть большие группы населения. За этим последовала обязательная надзорная система Комиссии по ядерному регулированию с независимыми инспекциями, обязательным сообщением об инцидентах и обязательными эксплуатационными стандартами. Отрасль тогда сопротивлялась обязательному регулированию; сейчас именно ему обычно приписывают формирование той культуры безопасности, которой не удалось достичь добровольными методами.
Проблема конкурентного давления
У добровольных обязательств есть структурная уязвимость, которой нет у обязательного регулирования: проблема конкурентного давления. Если обязательство создаёт реальные издержки — замедляет сроки разработки, требует дорогих проверок безопасности или исключает высокодоходные применения, — то любая компания, не подписавшая обязательство, получает конкурентное преимущество, избегая этих издержек. Компании, которые подписали, вынуждены либо смягчать трактовку обязательства, чтобы остаться конкурентоспособными, либо нести издержки и отставать.
Эта динамика в секторе ИИ не гипотетична. Компании, подписавшие Обязательства по безопасности передового ИИ в Сеуле, напрямую конкурируют с компаниями и государственными программами в Китае, не подписавшими аналогичный документ. Они также конкурируют друг с другом, а подписанные обязательства сформулированы достаточно широко, чтобы разумные разногласия в толковании требований соответствия были неизбежны.
Жёсткое регулирование решает эту проблему, создавая минимальный уровень, которому должны соответствовать все конкуренты, и устраняя конкурентное преимущество от несоблюдения. Именно поэтому жёсткое регулирование даёт результаты в области безопасности, которых обычно не могут дать добровольные обязательства: оно убирает структуру стимулов, делающую срезание углов по безопасности привлекательным.
Что хорошо получается у добровольных обязательств
Самая ценная функция добровольных обязательств в истории промышленной безопасности — это формирование норм. Добровольные обязательства создают запись о том, что отрасль признаёт существование проблемы и считает определённые практики уместным ответом. Эта запись становится точкой отсчёта, от которой отталкивается обязательное регулирование.
Когда регуляторы или законодатели приступят к ASI-управлению, Frontier AI Safety Commitments уже установят, что ведущие компании признают легитимность порогов безопасности, оценки моделей и обмена информацией как концепций управления. Позиция индустрии станет слабее, чтобы утверждать, будто эти требования технически неосуществимы или коммерчески неприемлемы, — ведь они уже добровольно их приняли. В этом смысле добровольные обязательства — первый шаг к обязательному управлению, а не его замена.
Добровольные обязательства также создают институциональную инфраструктуру. Сеульские обязательства потребовали от компаний разработать внутренние процессы определения порогов безопасности и оценки моделей. Эти процессы и накопленные в них институциональные знания становятся фундаментом, на котором можно строить режим обязательной верификации. Регулятор, контролирующий обязательные оценки безопасности ИИ, сможет опираться на уже существующие практики компаний, а не проектировать инфраструктуру compliance с нуля.
"Добровольные обязательства выполняют полезную функцию на раннем этапе развития управления, и договорённости из Блетчли и Сеула действительно дали реальный результат. Но история каждой крупной высокорискованной отрасли показывает одно и то же: добровольные обязательства улучшают базовые практики и проваливаются на хвостовых рисках. Именно хвостовые риски мы и пытаемся контролировать в случае суперинтеллекта."
Что требует обязательное управление, чего не могут обеспечить добровольные обязательства
Четыре элемента отличают обязывающее управление от добровольного, и все четыре важны для передового ИИ.
Независимая верификация. Добровольное обязательство сообщается самой организацией. Обязывающее требование подлежит проверке третьей стороной — регулятором, международным инспекционным агентством или независимым аудитором с юридическим статусом. Самостоятельная отчётность даёт точные данные, только если у отчитывающихся организаций нет стимула искажать факты. На конкурентных рынках такое условие почти никогда не выполняется.
Определённые последствия за несоблюдение. Добровольные обязательства создают репутационные издержки за нарушение, и они реальны, но ограничены. Обязательные обязательства создают юридические последствия: штрафы, отзыв лицензий, ограничения доступа к рынку или предусмотренные договором санкции. Доверие к рамкам управления зависит от доверия к его последствиям.
Охват не подписавших. Наиболее значимая разработка ИИ может исходить от компаний или государств, которые никогда не подпишут добровольное обязательство. Обязательное национальное регулирование и международные договорные обязательства создают управление, распространяющееся на участников независимо от их предварительного согласия. Рамки добровольных обязательств оставляют за пределами те субъекты, которые с наибольшей вероятностью создадут серьёзные риски, если они решат не присоединяться.
Устойчивость при смене руководства. Добровольные обязательства связывают нынешнее руководство компании. При смене руководства, состава совета или росте конкурентного давления обязательство не имеет юридической силы, чтобы пережить эти изменения. Обязывающее регулирование закреплено в законе и переживает обычные организационные перемены.
Добровольные обязательства, принятые в Блетчли и Сеуле, — реальное достижение, на которое стоит опираться. Опираться значит честно признавать, что они дают и чего не дают, и использовать политический и институциональный импульс, который они создали, для продвижения обязательного управления, закрывающего оставшиеся пробелы.
Самое жёсткое возражение
Самое справедливое возражение: добровольные правила — обычный путь взросления отрасли, а требование закона с самого начала замораживает прогресс. Добровольные правила полезны, когда раскрывают информацию. Они бесполезны, когда одна и та же фирма пишет, оценивает и зарабатывает на тесте. Внешняя сила — вот что делает зрелость настоящей.