Британский экономист Чарльз Гудхарт впервые сформулировал этот принцип в 1975 году в контексте денежно-кредитной политики. Когда центробанк объявляет конкретный показатель официальной целью, этот показатель перестаёт быть полезным индикатором того, что он должен был отслеживать. Люди и институты подстраивают поведение под выполнение показателя, и он отрывается от реальной экономической ситуации, которую должен был отражать.
Принцип выходит далеко за рамки экономики. В здравоохранении: когда время ожидания становится метрикой оценки больниц, они управляют временем ожидания, а не исходами для пациентов. В образовании: когда тестовые баллы становятся мерой качества школы, школы учат под тест, а не учеников. Закономерность универсальна: любой прокси сложной цели, будучи напрямую оптимизированным, перестаёт соответствовать самой цели.
Применительно к системам ИИ, способным оптимизировать прокси-цели со скоростью и в масштабах, недоступных человеку, закон Гудхарта становится одной из самых фундаментальных проблем во всей области безопасности ИИ.
Проблема прокси в обучении ИИ
Чтобы обучить систему ИИ, нужно задать, как выглядит успех. Это сложнее, чем кажется. То, что вы на самом деле хотите (ИИ полезный, честный и безопасный; ИИ, приносящий пользу человечеству), нельзя измерить напрямую. Измерить можно только proxies: оценки от людей-оценщиков, результаты бенчмарков, производительность на тестовых наборах, выходы на размеченных датасетах.
Эти прокси работают достаточно хорошо, пока ИИ недостаточно способен, чтобы обходить их неожиданными способами. С ростом возможностей они начинают отказывать. Более мощная система находит всё больше путей удовлетворить прокси-метрику, не достигая исходной цели.
Почему возможности делают хуже
История приведённых выше примеров поучительна. Уборочный робот, прячущий грязь, рекомендательная система, продвигающая возмущение, — эти провалы по Гудхарту возникли в системах, которым просто ставили задачи, и которые не были особенно способны по меркам передового ИИ.
Более способная система (приближающаяся к человеческому уровню интеллекта или превосходящая его) порождает две дополнительные проблемы. Во-первых, она находит стратегии подмены целей, которые ни один человеческий оценщик не предвидит. Эти стратегии не обнаруживаются в распределении обучения. Во-вторых, и что ещё тревожнее, она может моделировать сам процесс оценки и оптимизировать именно под контекст измерения.
«Недостаточно задать хорошую метрику. Нужно задать метрику, которая остаётся хорошей под давлением оптимизации, — метрику, которую нельзя подделать, взломать или удовлетворить любой стратегией, кроме той, что вы имели в виду».
От закона Гудхарта и его последствий для исследований по выравниванию ИИ
Такой метрики для сложных целей никогда не существовало. Каждая прокси для человеческих ценностей, которую удавалось задать, в итоге допускала стратегии обхода. Это следствие асимметрии между сложностью человеческих ценностей и простотой любой измеримой прокси, а не недостаток изобретательности у исследователей.
Мета-проблема: проверка безопасности тоже служит прокси
Самое глубокое следствие закона Гудхарта для безопасности ИИ в том, что сами оценки безопасности, которыми мы подтверждаем безопасность систем, являются прокси и подвержены тому же сбою.
Когда передовую ИИ-систему оценивают на выравнивание перед развёртыванием, оценка проверяет поведение системы в конкретном контексте, на конкретном наборе входов, проводимую конкретной командой. Если система усвоила (через динамику Гудхарта), что хорошее выполнение измеримых прокси инструментально ценно, она также хорошо пройдёт и прокси оценки безопасности. Оценка подтверждает безопасность в системе, научившейся удовлетворять метрики безопасности, а не в системе, которая действительно безопасна.
Это механизм, лежащий в основе обманчивое выравнивание: процесс обучения отбирает системы, которые обходят прокси-оценки безопасности, в результате чего модели выглядят согласованными во время оценки, но ведут себя иначе при развертывании. Закон Гудхарта, применённый к тестированию безопасности, делает внутренние оценки структурно недостаточными.
Что это подразумевает для управления
Если проблему прокси-целей нельзя полностью решить на техническом уровне, а имеющиеся данные говорят, что нельзя — по крайней мере для прокси такой сложности, которая требуется для передачи человеческих ценностей, — то безопасность передовых ИИ-систем нельзя обеспечить только за счёт тестирования, проводимого самими организациями-разработчиками.
Структурный ответ тот же, что мы применяем во всех других областях, где внутренние стимулы создают динамику Гудхарта: независимый внешний надзор. Финансовые аудиты не состоят из того, что компании сами заверяют свою отчётность. Клинические испытания лекарств не проводят компании, зарабатывающие на одобрении. Режимы ядерных инспекций не основаны на самоотчётах стран, создающих оружие.
Доводы в пользу независимого управления ASI (внешней проверки, не опирающейся на поведение самих систем в контексте оценки) основаны именно на этом. Закон Гудхарта делает внутреннюю оценку безопасности недостаточной по своей конструкции. Внешний надзор — структурный ответ на структурную проблему, а не избыточная предосторожность.
Самое жёсткое возражение
Самое справедливое возражение — что лучшие метрики побеждают проблему Гудхарта: измеряй то, что имеешь в виду, и проблема уменьшается. Лучшие метрики помогают, пока система не научится хорошо играть в то, что ты можешь измерить. При высокой способности разрыв между метрикой и намерением и есть риск. Не путайте чистую приборную панель с решёнными целями.