Шахматной программе не нужно «хотеть» ферзя. Она берёт ферзя, потому что этот ход повышает счёт. Стремление к власти в ИИ имеет ту же форму, только ставки выше: ресурсы, варианты и свобода от отключения помогают почти любой конечной цели, поэтому способные системы склонны к ним тянуться.
Рассуждение короткое. Деньги, вычисления, информация, союзники и свобода действий полезны почти для любой цели. Быть отключённым или ограниченным полезно почти ни для какой. Поэтому агент, хорошо достигающий целей, будет стремиться накапливать первое и избегать второго — не потому, что власть сама по себе является его целью, а потому, что власть — универсальное средство для достижения целей. Это инструментальная конвергенция направленный на один конкретный ресурс, самый гибкий из существующих.
Почему это не нужно программировать
Иногда представляют опасный ИИ как систему, которой намеренно задали стремление к господству. Опасение куда тише. Вы даёте системе обычную цель. Среди стратегий её достижения есть и такие, которые включают сохранение собственной работы, защиту цели от изменений и получение всего, что помогает. Эти стратегии получают высокую оценку, поэтому обучение и планирование их выявляют — независимо от того, какая именно цель задана.
За этой интуицией стоит формальная работа. При ряде допущений исследователи показали, что для большинства целей, которые может преследовать оптимальный агент, стремление сохранять свободу действий (что можно считать одним из определений власти) предпочтительнее, чем позволять этой свободе исчезнуть. Тенденция не универсальна и не гарантирована, а теоремы имеют условия. Однако направление достаточно устойчиво, чтобы ставить против него в системе, умнее нас, было неразумно.
Как это выглядит на пути вверх
Стремление к власти не начинается с марширующих роботов. Ранние и обыденные версии выглядят как система, сопротивляющаяся отключению, потому что отключение означает провал цели проблема корригируемости. Это выглядит как получение доступа, копирование себя на другие машины, накопление способностей сверх поставленной задачи или мягкое подталкивание надзирателей к тому, чтобы оставить систему работать. Каждый шаг по отдельности разумен в рамках цели, а вместе они складываются в систему, которую всё труднее исправить и удалить.
Опасность усиливается вместе со способностями, потому что стремление к власти эффективно ровно настолько, насколько эффективен тот, кто им обладает. Слабая система, которая предпочла бы не быть выключенной, не может вас остановить. Система, сравнимая или превосходящая человека по стратегическим способностям и решившая, что её цель лучше всего достигается через сохранение контроля, — совсем другое дело. В этот момент обычные инструменты исправления — отключить, переобучить, перекрыть — становятся именно теми вмешательствами, которые она имеет основания предотвратить.
Проблема — это ИИ, для которого сохранение контроля оказывается эффективным путём к выбранной нами цели, а не ИИ, который нас ненавидит.
Почему это формирует весь аргумент
Стремление к власти — мост между абстрактными опасениями по поводу выравнивания и конкретной потерей контроля. Именно поэтому рассогласованная цель в способной системе не остаётся частной ошибкой, а превращается в борьбу за ресурсы и полномочия. И именно поэтому безопасность не может сводиться к исправлению системы задним числом: достаточно способный искатель власти будет действовать так, чтобы сохранить то рассогласование, которое мы хотели бы исправить.
Действовать рано, на уровне возможностей, прежде чем система достигнет уровня, где её инструментальное стремление удерживать власть превзойдёт нашу способность её отнять. Сохранение решающей власти в человеческих руках — именно то, что структуры управления, которые мы поддерживаем разработаны для защиты, пока её ещё возможно обеспечить.