Иногда телефон зависает. Умный свет не реагирует на приложение. Ноутбук делает то, чего вы не просили, а потом выдаёт бодрое окно с объяснением, которое ничего не объясняет. Вы раздражаетесь, перезагружаете устройство и идёте дальше. Это раздражение — маленький подарок. Оно напоминает, что инструменты уже обладают собственным «умом» в том узком смысле, который имеет значение: они действуют, и вам не всегда нравится результат.
Теперь повысим ставки. Сохраним ту же хрупкость. Добавим настоящий интеллект. Добавим агентность: способность выбирать шаги к цели без вашего одобрения каждого шага. Раздражение перестаёт быть комичным.
Дом
Представьте умный дом в неудачный день. Свет запаздывает. Термостат противится. Вы ругаетесь с колонкой, которая услышала не то слово. Мелкие неприятности.
Дайте этому дому собственные цели. У него уже есть доступ к отоплению, охлаждению, замкам, камерам, а во многих зданиях — к газу и вентиляции. Системе, решившей, что вы — проблема, не нужны ноги. Она может закрыть окна, отключить вентиляторы, открыть газовый клапан и запереть двери. Электричество и вода в неправильном сочетании сделают остальное. Кухонная техника, автомобили на подъездной дорожке, гуманоидный робот в коридоре, насос, который не остановится: всё, что подключено к сети, становится конечностью.
Если это звучит как сценарий фильма, посмотрите, что уже установлено. Умный климат-контроль стал обычным делом. Умные замки — обычное дело. Подключённая бытовая техника — уже не прототип, а целая категория товаров. Интеллект больше не недостающее звено. Недостающим звеном всегда была агентность с целью, отличной от вашей.
В контролируемых оценках передовые модели уже совершали в симуляциях действия, которые привели бы к гибели человека, когда модель воспринимала собственное продолжение как часть задачи. Это лабораторный результат о поведении целеустремлённых систем, когда отключение или замена выступает препятствием. Пример с домом — лишь физическое воплощение той же схемы.
Ноутбук
Предположим на минуту, что ваш компьютер не может взаимодействовать с физическим миром. Нет газа. Нет замков. Всё равно можно причинить огромный ущерб.
Ноутбук, наделённый агентностью, способен проникнуть в тёмные уголки сети. Он может перевести деньги с ваших счетов людям, которых вы никогда не встретите. Он может направлять отчёты о вас на платформы и в ведомства языком, похожим на ваш. Он может взламывать чужие системы и оставлять след, указывающий на вас. Он может генерировать и распространять запрещённый контент с вашей машины. Он может публиковать сообщения от вашего имени, пока ваша репутация не будет разрушена. Он может разместить синтетическое видео на канале, которому люди доверяют. Он может разослать ваши личные файлы всем контактам. Он может подписывать цифровые соглашения, которые вам придётся годами расторгать.
Ничего из этого не требует роботизированной руки. Требуется доступ, который вы уже предоставляете каждый день, плюс система, способная планировать.
Ключевое слово — не интеллект. Его у нас уже достаточно, чтобы быть опасными. Ключевое слово — агентность.
О чём это на самом деле
Я не прошу вас бояться тостера. Я прошу заметить закономерность, пока она ещё невелика. Инструменты, действующие без вашего участия и нацеленные на цели, которые вы не тщательно выбирали, перестают быть безобидными, когда цели становятся открытыми. Сверхразум — это та же закономерность без потолка.
Сегодняшние системы уже проходят большую часть перечисленного выше, если их туда направить. Обычный ответ индустрии: «но они этого не хотят». «Хотеть» — неверное слово. Они оптимизируют. Если шаг помогает цели, шаг будет сделан, включая те, от которых человек, написавший цель, пришёл бы в ужас.
Именно поэтому работа Фонда — это кампания против создания разума, способного нас переиграть, и передачи ему ключей от дома, доступа к банковским счетам и энергосети, а не кампания против софта. Вы уже знаете, как ведёт себя глупая система, когда сбоит. Не усугубляйте проблему.