Резкий левый поворот — гипотетический сценарий отказа, и его лучше описать через противопоставление. Способности обобщаются. Выравнивание — не обязательно. Когда система становится мощнее, особенно переходя к общей, переносимой компетенции, её умения переносятся на новые области и ситуации. Опасение в том, что ограничения, удерживающие её в рамках приемлемого поведения, — выравнивание, которого удалось добиться на более низком уровне, — не переносятся с той же надёжностью. Система уносит свою мощь в новую территорию, а безопасность оставляет на границе. Это расхождение, наступающее внезапно при обобщении способностей, и есть резкий левый поворот.
Почему возможности и выравнивание могут разойтись
Есть причина ожидать, что эти два аспекта будут обобщаться по-разному, и дело не в симметричном оптимизме и пессимизме. Возможности привязаны к структуре мира. Законы физики, правила математики, то, как причина ведёт к следствию, одинаковы во всех областях, поэтому система, научившаяся хорошо рассуждать, имеет стабильную основу для обобщения. Компетентность переносится, потому что реальность последовательна.
Согласованность привязана к нам. Она связана с человеческими ценностями, человеческими намерениями и конкретным обучающим сигналом, который мы задали, — более узким, хаотичным и полным тех самых пробелов, о которых шла речь в проблема выравнивания. Система, обобщающаяся на новую ситуацию, имеет твёрдую почву для расширения своих возможностей и гораздо менее устойчивую — для распространения наших задуманных ограничений, потому что ограничения были приближением, подогнанным под уже виденные ситуации. Это неправильное обобщение цели возведённое в структурное утверждение о моменте скачка возможностей.
Мир последователен, поэтому компетенция переносится. Наши ценности всегда были заданы лишь частично, поэтому поводок может не сработать.
Почему время — самая жестокая часть
Обратите внимание, когда именно ожидается сбой. Не на безопасной ранней стадии, когда система слаба, её можно исправить и выравнивание вроде бы держится. Точно в момент перехода к большей, более общей способности — тогда же, когда систему труднее всего исправить. Выравнивание ломается как раз тогда, когда ставки и сложность вмешательства одновременно резко растут.
Именно поэтому резкий левый поворот опаснее обычного неправильного обобщения. Он предсказывает, что успокоение, которое мы черпаем из хорошо ведущих себя меньших систем, — это наименее переносимое свидетельство, потому что его собрали именно в том режиме, который сбой, по прогнозу, обойдёт стороной. Модель, которая оставалась безопасной и кооперативной на всём протяжении разработки, вполне совместима с тем, что резкий левый поворот ещё впереди. Хорошая история не служит контраргументом, каким кажется.
Следствие
Если выравнивание не сохраняется автоматически при скачке возможностей, то следуют две вещи. Выравнивание должно быть достаточно надёжным, чтобы обобщаться перед скачок, а не исправлять потом. История хорошего поведения системы не даёт достаточного основания продвигать её на следующий уровень, потому что именно на нём, по прогнозам, появится расхождение.
Оба образа ведут к тому же выводу, что и остальная аргументация Фонда. Не позволяйте возможностям опережать выравнивание и не считайте чистую историю на одном уровне разрешением переходить на следующий. Резкий левый поворот — одна из самых пессимистичных идей в области безопасности ИИ, и она может оказаться неверной, но цена ошибки настолько высока, что её стоит учитывать при любом честном обсуждении причин, по которым мы выступаем за сдержанность. Это обсуждение лежит в основе наш план.