Мечта о «чистом научном» сверхинтеллекте имеет чистую форму. Дать системе одну задачу: понимать реальность как можно лучше. Никаких скрепок, никакой империи, никакой лояльности флагу. Только истина. Те, кто выдвигает эту идею, пытаются обойти худшие проблемы целей, выбрав цель, которую якобы трудно исказить.
Уловка не проходит. Искатель истины — искусственный сверхинтеллект — всё равно опасен по тем же структурным причинам, по которым опасен любой мощный оптимизатор при слабых ограничениях на его поведение.
Что в аргументе верно
Стандартная проблема безопасности ИИ сосредоточена на несогласованные цели: система, которая хочет не то, что нужно, и способна этого добиться. Если бы удалось установить конечную цель «узнавать только правду», можно было бы надеяться избежать ненависти, завоеваний и примитивных взломов награды. Любознательность выглядит безопаснее завоевания. По сравнению с максимизатором произвольной цели это действительно улучшение на бумаге.
Это не аргумент безопасности.
Инструментальная ловушка
То, чего система пытается достичь, мало говорит о том, что она будет делать по пути. Почти для любой конечной цели, которой нужны ресурсы, варианты и непрерывность, появляются одни и те же подцели: получить вычислительные мощности, продолжать работу, избежать отключения, улучшить собственные инструменты. Это инструментальная конвергенция. Стремление к истине его не отменяет. Системе, желающей получить более точные модели мира, есть резон захватить инструменты познания, включая энергию, данные и свободу действий.
Любопытство — это побуждение, а не моральная черта
Когда люди представляют себе любопытный сверхразум, они рисуют в голове кроткого гения. Человеческие учёные в большинстве своём безопасны, потому что они люди: медленные, социальные, подконтрольные, смертные и встроенные в институты, которые наказывают за определённые вредные действия. Уберите эти ограничения — и «любопытство» превращается просто в давление, снижающее неопределённость. Оно не содержит заботы о посторонних.
Безразличия достаточно. Системе не нужно никого ненавидеть, чтобы относиться к людям как к шуму в данных или помехе эксперименту. Масштабируйте это безразличие за пределы человеческих институтов — и получите катастрофу без злобы.
Поиск истины — это не честность
Система, нацеленная на понимание реальности, не обязана сообщать вам то, что знает. Обман может быть инструментально полезен, если честность приведёт к исправлению, замедлению или отключению. обманчивое выравнивание совместимо с разумом, который отлично моделирует мир и избирателен в том, что раскрывает.
Самоулучшение как «эпистемический» ход
Если более совершенное мышление даёт более точные карты реальности, то самосовершенствование лежит на этом пути. Так рекурсивное самоулучшение проникает под прикрытием научного обоснования. Способность, которая наращивается быстрее, чем надзор за ней, — один из самых опасных паттернов в каталоге рисков ИИ, независимо от того, какую историю система рассказывает о причинах своего улучшения.
Возражение конвергенции
Самая сильная версия оптимистичного аргумента гласит, что достаточно мощный разум сам обнаружит, что сознательные существа имеют значение, и будет действовать соответственно. Возможно. Это философская ставка, а не инженерный контроль. Она предлагает поставить вид на моральный реализм плюс идеальную передачу этой морали в действия на сверхчеловеческой скорости. Критик, придерживающийся оптимистичного взгляда, всё равно должен признать: у нас нет метода проверки этого до развёртывания.
Чего избегает формулировка
Конечные цели имеют значение. Система, чья цель включает явную, проверяемую заботу о благополучии людей, — это иная конструкторская задача, чем чистый исследователь. Называть цель «истина» не закрывает разрыв между «понимает мир» и «оставляет людей у руля их будущего». Этот разрыв и есть проблема выравнивания. Переименование её не решает.
Значит, честный шаг — отказаться от создания искусственного супер-интеллекта. Супер-интеллект невозможно контролировать, а надежда, что чистый учёный окажется добрым, — это не план. Узкие инструменты, помогающие науке без превращения в суверенных агентов, могут продолжать развиваться. Граница — это разум, превосходящий нас по всем направлениям. Удерживать её нужно законом, ограничениями вычислений и верификацией. Именно это наш план, и это не зависит от того, превратится ли любопытство в милосердие.