Принцип предосторожности возник в экологическом праве и теперь закреплён в международных документах. Его наиболее известная формулировка — Принцип 15 Рио-де-Жанейрской декларации 1992 года: там, где есть угроза серьёзного или необратимого ущерба, отсутствие полной научной определённости не должно использоваться как причина для откладывания экономически эффективных мер по его предотвращению. Варианты принципа встречаются во всём праве Европейского союза и в договорах по климату, биоразнообразию и опасным веществам. Принцип существует именно для ситуаций, когда ожидание доказательств означает слишком долгое ожидание.

Принцип гласит: если деятельность грозит серьёзным или необратимым вредом, отсутствие полной научной определённости не должно служить поводом для отказа от защитных мер. Это правило — самая прочная юридическая основа для действий по рискам ИИ до того, как катастрофа докажет правоту.

Почему это так хорошо подходит ИИ

У аргументации в пользу риска ИИ есть неудобная особенность: самые серьёзные сценарии ещё не произошли и не могут быть продемонстрированы заранее без проведения самого эксперимента. Критики используют это, чтобы отвергнуть опасения: нет доказательств — нет проблемы. Прямой ответ — принцип предосторожности. Он создан именно для угроз, которые серьёзны и потенциально необратимы, но ещё не доказаны, и он переворачивает бремя доказывания: вопрос не в том, доказана ли катастрофа, а в том, достаточно ли серьёзна сама возможность, чтобы оправдать защитные меры с учётом того, что поставлено на карту.

Две особенности передового ИИ делают его почти идеальным примером для этого принципа. Потенциальный вред находится на самом высоком уровне шкалы тяжести — правдоподобно катастрофический и необратимый. А наука действительно неопределённа: авторитетные эксперты приписывают осмысленную вероятность сценариям потери контроля, и нет надёжного метода их исключить. Тяжёлый, необратимый, неопределённый: именно такой профиль и предназначен для принципа предосторожности.

Что на практике требует предосторожность

  • Перекладывание бремени доказывания. Разработчики самых мощных систем должны нести бремя доказательства безопасности до развёртывания, а не перекладывать на общество доказательство опасности постфактум — по той же модели, что уже действует для лекарств и атомных станций.
  • Действовать до обретения уверенности. Управление не должно ждать продемонстрированной катастрофы, чтобы оправдать обязательные ограничения, потому что для необратимых рисков демонстрация и есть катастрофа.
  • Пропорциональность ставкам. Масштаб мер предосторожности должен соответствовать масштабу потенциального вреда; риски наивысшей степени тяжести оправдывают самые строгие меры.
  • Обратимость как приоритет. Где возможно, сохраняйте варианты и избегайте шагов, закрывающих будущую корректировку, — принцип, напрямую применимый к технологии, способной закрепить себя.

Возражения

У принципа предосторожности есть серьёзные критики, и честная позиция требует с ними спорить. Самое сильное возражение: доведённая до крайности предосторожность способна парализовать действия — почти любая деятельность несёт в себе гипотетический катастрофический риск, и принцип, требующий бороться со всеми недоказанными серьёзными угрозами, может оправдать блокирование полезных инноваций по умозрительным основаниям. Критики также указывают, что предосторожность сама по себе имеет цену (упущенные выгоды, включая возможность, что ИИ поможет предотвратить другие катастрофы), и эту цену нужно учитывать.

Эти замечания не опровергают принцип; они дисциплинируют его применение. Ответ в том, что предосторожность — это соразмерные действия против угроз, одновременно серьёзных и подкреплённых правдоподобными данными, с учётом затрат на действие и затрат на бездействие, а не «запретить всё, что теоретически может пойти не так». Фронтирный ИИ соответствует критерию не потому, что кто-то может вообразить плохой исход, а потому, что авторитетные эксперты приписывают реальную вероятность катастрофической, необратимой утрате контроля. Принцип требует мер, соразмерных именно этому конкретному, хорошо обоснованному риску, а не тотальной остановки технологий.

Для необратимого риска «подождать доказательств» — это противоположность осторожности. Принцип предосторожности существует именно для того, чтобы мы не были обязаны пережить катастрофу, прежде чем получим право её предотвратить.

Основа для действий сейчас

Принцип предосторожности важен для управления ASI, потому что он снимает самый распространённый довод за отсрочку: мол, регулировать стоит только после доказательства рисков. В праве и этике этот довод не работает именно для того класса угроз, который представляет ИИ. Тяжёлые, необратимые и неопределённые вреды — классический случай для действий до полной уверенности, когда бремя доказывания лежит на тех, кто создаёт риск. Это не решает, какими именно должны быть меры; этим займётся разработка договоров, верификация и пороговые значения. Но это решает предварительный вопрос: правомерно ли действовать в условиях неопределённости. Да, и принцип объясняет почему.