Прежде чем новый препарат поступит в продажу в США, кто-то должен доказать его безопасность и эффективность по правилам, способным остановить запуск. Большинство программного обеспечения до сих пор выпускается сначала, а извиняется потом. Модель FDA — это вопрос, который политика в области ИИ постоянно обходит: докажите до того, как ущерб станет необратимым.
Фармацевтика — большое исключение. Фармкомпания не может выпустить лекарство и ждать трупов. Она обязана доказать безопасность и эффективность Управлению по контролю за продуктами и лекарствами через поэтапные клинические испытания перед оно вообще продаст продукт. Бремя доказательства лежит на разработчике и возникает до развёртывания. Модель FDA для ИИ спрашивает, следует ли регулировать передовой ИИ, обладающий теми же чертами, что сделали медицину исключением, по тем же правилам.
Почему аналогия привлекательна
Соответствие ближе, чем кажется на первый взгляд, потому что причины, по которым лекарства получают одобрение до выхода на рынок, применимы и к передовому ИИ.
- Бремя доказывания переворачивается. Разработчик обязан доказать безопасность продукта, а не регулятор или общество — доказывать опасность после его выхода на рынок. Именно такую инверсию бремени доказывания предлагает Фонд в других материалах, в кейсы безопасности и политики масштабирования.
- Одобрение должно предшествовать развёртыванию. Проверка происходит, пока система ещё находится в изоляции, а не после того, как она вырвется на свободу в мир, и только в этот момент предотвращение превосходит реакцию.
- Поэтапное тестирование масштабируется с риском. Клинические испытания идут поэтапно, каждое следующее разрешение требует доказательств. Это естественным образом ложится на пороги возможностей ИИ.
Для технологии, где некоторые сбои могут быть тяжёлыми и труднообратимыми, режим, который не выпускает самые рискованные системы, пока безопасность не доказана явно, выглядит серьёзным и привлекательным решением.
Где напрягается модель
Аналогия — это ориентир, а не шаблон, и различия поучительны.
Лекарство — это фиксированная молекула, выполняющая конкретную функцию в организме, изученная зрелой наукой с количественно оценёнными рисками. Передовая модель общего назначения используется для открытых задач, которые никто полностью не перечислил, с способности, которые могут возникнуть непредсказуемо и поведение, которое может измениться уже после развёртывания через дообучение или новые инструменты. Для лекарства от давления можно чётко определить, что значит «безопасно». Определить, что значит «безопасно» для общей системы рассуждения, — нерешённая проблема в центре всей области, и науки, которая потребовалась бы регулятору по типу FDA, часто ещё не существует.
Есть ещё проблема границ. FDA регулирует национальный рынок с жёсткими пределами. Опасную модель можно обучить где угодно и скопировать повсюду, поэтому одной национальной предварительной проверки недостаточно — нужен международный координационный механизм, подкреплённый физическими узкими местами управление вычислениями.
Модель FDA даёт верный принцип — доказывать безопасность до выпуска — и напоминает, насколько не хватает фундаментальной науки о безопасности.
Что из этого взять
Модель FDA ценна не столько как образец для копирования, сколько как доказательство, что предварительное одобрение перед выходом на рынок — нормальная, рабочая и принятая практика для продуктов, чьи негативные последствия слишком серьёзны, чтобы устранять их через отзыв. Общество уже согласилось в случае лекарств: некоторые вещи должны быть доказаны безопасными до того, как попадут к нам. Распространение этого устоявшегося принципа на передовые ИИ-системы, чьи сбои могут иметь самые тяжёлые последствия, — это применение существующей нормы к новой технологии, которая явно подпадает под неё, через сочетание внутренних требований и международной структуры, изложенной в наш план, не радикальное требование.