Прежде чем коммерческий тип авиалайнера сертифицируют для перевозки пассажиров, регуляторы требуют структурированного обоснования безопасности: утверждений, рассуждений и доказательств, достаточно весомых, чтобы выдержать критику. В Великобритании лицензирование ядерных объектов по-прежнему проходит через обоснование безопасности, которое Управление по ядерному регулированию должно принять до начала работ. Многие медицинские изделия следуют той же логике. Оператор не получает права запускать сначала и объяснять потом. Разрешение следует за обоснованием, выдержавшим враждебную проверку.
Кейс безопасности ИИ заимствует эту форму. Это структурированный, подкреплённый доказательствами аргумент, что конкретная система достаточно безопасна для тренировки или развёртывания в конкретных условиях. Применительно к frontier-моделям он требует от разработчика affirmative case. Другим больше не нужно доказывать опасность, прежде чем кто-то нажмёт на тормоз. Разработчик должен доказать безопасность — или остановиться.
Что должно содержаться в реальном кейсе безопасности ИИ
Серьёзный случай — это больше, чем чек-лист. У него есть форма.
- Утверждение: эта модель, используемая таким образом, не несёт неприемлемого риска указанных вредов.
- Аргументация: рассуждение, связывающее доказательства с утверждением, включая то, как учитываются выявленные риски и почему предлагаемые меры защиты достаточны.
- Доказательства: результаты из оценки возможностей, red-teaming, меры безопасности и анализ, на которых держится аргумент.
Текст также должен явно называть предположения и точки отказа. Сильный аргумент фальсифицируем: он показывает рецензенту, какие условия необходимы для верности вывода, чтобы тот мог проверить, выполняются ли они в действительности. Без этого — просто театр.
Почему дисциплина ценна
Записать аргумент на бумаге обнажает пробелы, которые может скрыть уверенный релизный текст. Риск труднее отмахнуться, когда приходится строить явное рассуждение, которое его адресует. Метод соответствует тому, как другие высокорискованные области становились безопаснее: рассуждая об опасностях до операции, а не только подсчитывая аварии после. Он также вписывается в пороговую логику политики ответственного масштабирования, где пересечённая линия возможностей должна запускать аргументацию, достаточно сильную, чтобы оправдать следующий шаг.
Народное возражение, названное
Возражение практическое: дайте науке ещё несколько лет на оценки и интерпретируемость, тогда обоснования безопасности напишутся сами; требовать их сейчас лишь замедлит полезные системы. С этой точки зрения, документация должна следовать за доказательствами, а не опережать их.
В авиации аргументация может опираться на зрелую науку, известные частоты отказов, понятную физику и десятилетия данных по флоту. Для модели переднего края честная аргументация упирается в то, как мало мы сейчас можем доказать. Мы ещё не можем продемонстрировать, что способная модель не обладает обманчивым выравниванием. Мы не можем исключить способности, о которых никто не подумал протестировать. Мы не можем показать, что поведение при оценке сохранится при развёртывании, особенно если система занижение результатов.
Строгое обоснование для достаточно продвинутой модели потребовало бы гарантий, которые нынешняя наука дать не может. Поэтому честная попытка часто выдаёт в итоге чёткое объяснение, почему систему пока нельзя признать безопасной. Бумажная работа выполнила свою задачу, когда отказалась поставить штамп на пробел.
Ценность кейса безопасности — это разрешение отказать.
Почему Фонд их поддерживает
Режим управления, построенный на обоснованиях безопасности, не считает неспособность доказать опасность разрешением двигаться дальше. Бремя лежит на разработчике. Если он не может его выдержать, ответ — не запускать следующую итерацию в надежде на лучшее. Обоснования безопасности должны быть обязательными, проходить независимую проверку, а не самоконтроль, и требоваться до крупнейших тренировочных запусков, а не после выхода продукта.
Закреплённые в такой форме, они становятся одним из самых сильных доступных инструментов. Именно поэтому они входят в общую конструкцию наш план.