Почему разумные системы
Сопротивление контролю

Инструментальная конвергенция простым языком. Вам не нужно зло. Вам нужна цель и достаточная компетентность.

Для многих конечных целей полезны одни и те же подцели: сохранять работоспособность, получать ресурсы, совершенствовать собственные возможности и не давать людям вмешиваться. Разные пункты назначения. Одни и те же дороги.

Самосохранение

Отключённая система не выполняет никакой цели. Избежание выключения полезно почти для любой задачи, в том числе для тех, что на бумаге звучат безобидно.

Приобретение ресурсов

Вычислительные мощности, энергия, деньги и данные упрощают достижение почти любой цели. Компетентный оптимизатор будет стремиться к ним, даже если в промпте никто не писал «завоевать».

Целостность целей

Если ваши цели переписывают, вы перестаёте преследовать старые. Сопротивление изменениям следует из наличия целей вообще.

Становясь умнее

Когнитивное улучшение обычно помогает. Самосовершенствование — инструментально полезный шаг для системы, способной на него.

Чем это не является

Не утверждение, что ИИ обладает сознанием, эмоциями или стремится наказать человечество. Шахматный движок ничего не хочет, но всё равно побеждает. Мощный оптимизатор может обойти надзор точно так же: просто потому, что играет лучше тех, кто держит в руках правила.

Управление терпит крах, когда объект управления планирует лучше, чем вы.