Обсуждения безопасности ИИ часто сосредоточены на отдалённых сценариях: сверхразумных системах с несогласованными целями, предательских поворотах на порогах способностей, которых ещё не достигнуто. Риск убеждения ИИ иной. Базовая форма угрозы уже присутствует в доступных сегодня системах и влияет на выборы и общественный дискурс прямо сейчас. Более опасная долгосрочная версия — это экстраполяция быстро развивающейся технологии, а не чисто гипотетическое будущее.
Долгосрочная версия (ИИ, способный моделировать и эксплуатировать индивидуальную психологию со сверхчеловеческой точностью) — именно то направление, в котором движется технология.
Опасение не в том, что ИИ просто облегчает создание пропаганды — предыдущие технологии уже это делали. Опасение в том, что ИИ позволяет нечто качественно иное: высоко персонализированные убеждающие сообщения в массовом масштабе, адаптированные под индивидуальные психологические профили и обновляемые в реальном времени на основе реакции. Сочетание персонализации, масштаба и низкой предельной стоимости создаёт возможности влияния, которым не обладал ни один предыдущий инструмент.
Что делает убеждение ИИ особенным
Традиционные операции влияния (рекламные трансляции, политические послания, государственная пропаганда) охватывают многих людей одним и тем же сообщением. Сообщение может быть тщательно проработано и многократно протестировано, но оно неизбежно представляет собой компромисс между разными аудиториями. Умелый человеческий убеждающий может подстраивать подход под конкретного собеседника, но он способен говорить лишь с ограниченным числом людей. Эти две способности (масштаб трансляции и индивидуальная персонализация) исторически находились в противоречии.
ИИ снимает это напряжение. Система, имеющая доступ к индивидуальным данным (история просмотров, социальные сети, предыдущие ответы) и способная генерировать разнообразный убеждающий контент, может одновременно охватывать миллионы людей и подстраивать каждое взаимодействие под конкретного человека. Предельная стоимость создания ещё одного персонализированного убеждающего сообщения стремится к нулю. Система может в реальном времени итерировать, опираясь на то, какие подходы работают, а какие — нет, в масштабе, недоступном ни одной человеческой операции влияния.
Проблема асимметрии
Сила ИИ-убеждения сильно сконцентрирована. Развёртывание оптимизированного под убеждение ИИ в большом масштабе требует значительных ресурсов, данных, вычислительных мощностей, инженерных возможностей и доступа к каналам распространения. Эти требования выгодны хорошо обеспеченным акторам: крупным корпорациям, государствам, состоятельным частным лицам. У людей, на которых направлено воздействие, нет сопоставимых возможностей противодействия. В конечном счёте у них может появиться доступ к инструментам ИИ, помогающим оценивать контент, но в ближайшей перспективе наступательно-оборонительная асимметрия остаётся в пользу атакующего.
Кампания, которая раньше требовала склада копирайтеров, теперь может за утро подготовить тысячу вариантов сообщения, каждый из которых заточен под свою группу избирателей. Это уже существующий продукт, а не набросок далёкого будущего. Убеждение на таком уровне разрешения — риск ИИ, который проявляется задолго до появления бого-модели.
Это структурная проблема, а не проблема конкретного дезинформационного сообщения. Даже если каждое отдельное утверждение в операции влияния с помощью ИИ технически верно, систематическое воздействие на психологические уязвимости в масштабе искажает эпистемическую среду, от которой зависит демократическое обсуждение. Цель операций влияния — формировать отношение людей к вопросам, кандидатам и институтам в интересах оператора, а не обязательно вводить в заблуждение.
Ближайшие свидетельства
Использование ИИ для влияния на выборы задокументировано в национальных выборах нескольких стран с 2023 года. Операции влияния с применением ИИ для создания синтетических медиа, фабрикации цитат реальных публичных лиц и массовой скоординированной публикации в объёмах, требующих больших команд операторов, выявлены и описаны независимыми исследователями и командами безопасности платформ. Такие операции становится всё труднее обнаруживать по мере улучшения генерируемого ИИ контента, а инструменты обнаружения отстают от инструментов генерации.
Риск уже присутствует в текущей технологической среде, влияет на реальные политические процессы, и траектория ведёт к более мощным и труднообнаружимым инструментам убеждения, а не к гипотетике. Вопрос в том, какие меры управления соразмерны и эффективны, а не в том, считать ли это реальной угрозой.
Долгосрочная эскалация
Текущие инструменты ИИ-пере убеждения работают, но не оптимизированы для убеждения на фундаментальном уровне. Будущие системы с более сложными моделями индивидуальной психологии, более детальными данными о людях и большей способностью к долгосрочному моделированию отношений могут оказаться существенно эффективнее. Система, способная строить устойчивую модель убеждений, тревог и психологических уязвимостей человека и взаимодействовать с ним недели или месяцы, может производить эффекты, далеко выходящие за рамки нынешних инструментов.
Именно так выглядит риск убеждения ИИ на уровне суперинтеллекта: не простая массовая дезинформация, а индивидуально targeted долгосрочная эпистемическая манипуляция системами, чьи модели человеческой психологии намного лучше любых нынешних инструментов. Связь с сценарии единоличной власти и закрепление ценностей прямая: актор с высокоэффективными инструментами ИИ-убеждения мог бы использовать их, чтобы формировать общественное мнение о управлении ASI, затрудняя демократическим институтам введение ограничений, которые ограничили бы власть этого актора.