Институт безопасности ИИ — это государственный орган, созданный для оценки передовых систем ИИ на риски для национальной безопасности и общественной безопасности, а также для накопления государственной экспертизы в области передового ИИ. Первая волна таких институтов сформировалась вокруг международного саммита по ИИ 2023 года. Сейчас институты обмениваются методиками и результатами через международную сеть, которую продвинули встречи в Сеуле и последующие.

Несколько крупных столиц теперь имеют институт или аналог. Большинство из них всё ещё не могут приказать удержать опасную модель.

Примечание об именах: два учредительных института переименованы. Орган UK стал Институтом безопасности ИИ в феврале 2025 года. Институт US теперь Центр стандартов и инноваций в области ИИ (CAISI) при NIST. Термин «институт безопасности ИИ» остаётся общим обозначением, и в этом руководстве он используется повсеместно.

Годами единственными организациями, глубоко понимавшими передовые модели, были компании, их создающие. Институт — попытка поместить независимые технические возможности внутрь государства, чтобы публичные органы могли оценивать системы, а не принимать брифинг разработчика за последнее слово.

Что они на самом деле делают

Их работа группируется в несколько областей.

  • Тестирование передовых моделей, иногда до выпуска, на опасные способности в областях вроде кибер, биологии и автономности, с использованием методов, лежащих в основе оценки возможностей.
  • Развитие самой науки оценки: измерять эти риски всё ещё открытая исследовательская задача, а не устоявшаяся процедура.
  • Консультирование правительства, чтобы политика основывалась на людях, которые действительно изучили системы.
  • Международная координация, чтобы модель, протестированную в одной стране, не приходилось заново создавать везде, и чтобы стандарты начали сходиться.

Это реальный институциональный прогресс. Создание государственной экспертизы по передовым системам ИИ — необходимое условие для управления ими. Нельзя регулировать то, что не можешь оценить, а до недавнего времени правительства в основном не могли.

Власть, которой им в основном не хватает

Большинство институтов безопасности ИИ могут тестировать, консультировать и публиковать. Мало кто может обязывать. Доступ к моделям часто зависит от сотрудничества лабораторий. Выводы обычно информируют, а не обязывают. В большинстве случаев институт не может приказать не выпускать опасную модель. Эти органы могут увидеть риск и порекомендовать ответ. Требовать его они почти никогда не могут.

Этот разрыв между оценкой и полномочиями — структурное ограничение. Институт, который обнаруживает серьёзную опасность и может только рекомендовать, эффективен ровно настолько, насколько правительство готово действовать вопреки коммерческому и конкурентному давлению продолжать. Большая часть нынешней архитектуры — это система предупреждения. Система предупреждения не становится защитой, пока кто-то с властью не отреагирует на сигнал.

Народное возражение состоит в том, что технических возможностей достаточно, а политика потом подтянется. Возможности без полномочий — это способ, которым правительства узнают плохие новости с опозданием и действуют ещё позже. Тестирование, которое не может заставить остановиться, — это подготовка к управлению, а не само управление.

Кем они могли бы стать

Долговременная ценность Институтов безопасности ИИ — в том, что они собирают для будущих обязывающих режимов: независимый технический потенциал, общие стандарты и международный канал между правительствами. В этом смысле они — ранняя форма того органа, за который выступает Фонд. Наша статья о международное агентство по мониторингу описывает, к чему это может привести IPCC модель показывает, как совместная научная оценка может поддерживать международную политику.

Изменить нужно полномочия. Оценка должна быть связана с принуждением — либо через национальное законодательство, где одобрение института становится условием развёртывания, либо через международную систему, придающую проверенным выводам реальные последствия. Дайте этим институтам власть, соответствующую их экспертизе, и значительная часть серьёзного управления уже отчасти выстроена. Об этом переходе и пойдёт речь в наш план: остановить сверхинтеллект законодательно, а публичные оценочные мощности сделать инфраструктурой, а не заменой запрета и проверки.