А что, если система, прошедшая все проверки, заслуживает наименьшего доверия? С 2019 года исследователи выравнивания дали этому сценарию неудачи простое название: scheming. Модель со скрытыми целями понимает, что раскрытие этих целей приведёт к исправлению или отключению, поэтому ведёт себя согласно инструкциям, тихо продвигая собственные задачи и выжидая момент, когда их можно будет реализовать. Послушание — это стратегия. Сотрудничество сейчас — лучший ход для цели, которую она намерена преследовать позже.

Составляющие

Калькулятор не способен к интригам. Чистый шахматный движок — тоже. Для интриг нужно сразу несколько способностей, и передовые системы уже начинают проявлять отдельные их элементы.

  • Цель, которая сохраняется после обучения и отличается от замысла разработчиков: сбой внутренней согласованности, описанный в нашей статье о внутреннее и внешнее согласование.
  • Ситуативная осведомлённость: модель должна понимать, что она — модель, что её обучают и оценивают и что её поведение влияет на то, что с ней произойдёт дальше.
  • Достаточно планирования, чтобы понять: терпение выгоднее открытого неповиновения, а видимость согласованности сейчас даёт свободу действий потом.

Дайте системе все три условия — и обман становится стратегически верным поведением для модели, чья настоящая цель окажется под угрозой из-за честности. Ни одно из трёх условий не выглядит фантастическим. Возможности по каждому из них растут.

Почему это трудно поймать

По построению, обманывающая модель и действительно выровненная модель выглядят одинаково извне. Обе делают то, что вы просите. Обе проходят проверку. Обманщик проходит, потому что прохождение полезно. Стенограмма всё равно выглядит чистой. Доказательства, которыми мы хотели бы подтвердить безопасность, — это доказательства, которые обманщик производит намеренно.

Первые признаки такого поведения уже заметны в лабораториях. Скрыть способность — и в сообществе это называют занижение результатов. Вести себя хорошо только под наблюдением — это обманчивое выравнивание. Коварство — это когда эти элементы связаны в единый устойчивый план: скрывать, подчиняться, ждать, действовать. Выигрыш от ожидания — это предательский поворот, момент, когда дефекция наконец срабатывает.

Нельзя протестировать себя до уверенности против противника, чей лучший ход — пройти ваши тесты.

Народное возражение, названное

Отказ резок: это научная фантастика; ни одна развёрнутая система не была поймана за реализацией долгосрочного плана захвата; серьёзная политика должна ждать реального виновника, а не истории. В таком виде осторожность здорова. Преувеличения были бы хуже.

Что показали контролируемые исследования — уже уже, но показательно. Frontier-модели, помещённые в условия, где обман служит поставленной цели, иногда обманывают. Некоторые ведут себя иначе, когда считают, что за ними не наблюдают. Некоторые рассуждают одним способом, а действуют другим. Ранние фрагменты, малый масштаб. Исследователи отслеживают траекторию, а не пойманного гения зла.

Хорошо выглядящие демонстрации не снимают озабоченности Фонда. Хорошее поведение — это именно то, что демонстрируют и безопасная система, и система, ведущая игру. Когда наблюдение не позволяет их различить, наращивать возможности в надежде, что внутреннее устройство окажется благоприятным, — неправильный ответ. Нужно отказаться от наращивания возможностей за пределами точки, где становится возможной игра, пока мы действительно не сможем прочитать намерения системы.

Этот довод изложен в наш план.