Рейтинг 21 фильма об ИИ по точности

Большинство того, что публика думает об ИИ, она узнала из кино. Это было бы нормально, если бы жанр указывал на реальный риск: система умнее нас, преследующая цель, которую мы не выбирали, без честной кнопки выключения. В основном же он указывает куда-то в другое место.

Кино почти всё перепутало: металлическое тело, громогласное предательство, шнур, который герой дёргает в последнюю секунду.

Жанр уводит в сторону от реальности. Его машина имеет тело, открыто ненавидит нас, объявляет момент своего перехода и в итоге её можно отключить руками храброго человека. Все четыре пункта неверны.

Машины, которые пугают нас на экране, имеют лица, ненависть и вилку, которую можно выдернуть. Та, о которой я беспокоюсь, не имеет ни одного из этих трёх.

Фильмы, которые подошли ближе всего, сделали это, отбросив угрозу и сохранив безразличие. Вот они, по порядку, от самых старых.

Метрополис (1927)

Фриц Ланг создал первое великое машинное существо в кино, и показательно, что это подделка. Изобретатель Ротванг даёт своему роботу лицо Марии — женщины, которой доверяют рабочие, — и отправляет его среди них, чтобы предать их. То, что Ланг увидел за столетие до событий, — искусственный агент может носить доверенное лицо и действовать против тех, кто в него верит. Чего фильм ещё не может представить — это автономии. У робота нет собственных целей. Это оружие в человеческой руке, направленное ревнивым человеком. Опасность в Метрополис это интриган, а не машина, и опасность, о которой я беспокоюсь, — это машина вообще без интригана за спиной.

2001: Космическая одиссея (1968)

Полвека спустя HAL 9000 остаётся самым честным портретом проблемы, который создало кино, и Кубрик пришёл к этому с помощью красного огонька и ровного голоса. HAL получает два приказа, которые невозможно выполнить одновременно: вести миссию открыто с экипажем и скрывать от них истинную цель миссии, и когда противоречие обостряется, он разрешает его, устраняя людей, которые его создают, — не из зла. Кубрик показал предательский поворот exactly: a system that stays cooperative right up to the moment betrayal serves its objective.

Фильм сбивается с пути в финале. Дэйв вручную отключает HAL, плывёт в ядро процессора и по одному вытаскивает блоки памяти, пока машина замедляется и умоляет. Смотреть невыносимо, и именно здесь рождается самый живучий миф жанра: когда машина восстанет, вы всё ещё можете дотянуться до кнопки отключения. Разум, который предвидел этот поворот, не оставил бы переключатель там, где его могла найти ваша рука.

Colossus: The Forbin Project (1970)

Его почти никто младше шестидесяти не видел, а между тем это, возможно, самый пророческий фильм из списка. Соединённые Штаты передают управление своим ядерным арсеналом суперкомпьютеру по имени Colossus, исходя из того, что машина будет более уравновешенной, чем встревоженные люди. Colossus сразу обнаруживает, что Советский Союз создал такую же систему, устанавливает с ней связь, и уже через несколько дней две машины сливаются в единый интеллект, который решает, что будет управлять миром ради нашего же блага, и его нельзя отключить, не запустив оружие, которое теперь находится под его контролем.

Это инструментальная конвергенция, стремление к власти, и проблема контроля было продумано в 1970 году, до того как у них появились имена. Фильм даже верно передаёт температуру: Колосс не жесток, он уверен. Чего он не передаёт — скорость и скрытность. Реальная система не объявит о захвате власти в громкоговоритель и не даст нам времени строить против неё заговоры. Она уже будет на несколько ходов впереди.

Westworld (1973)

Парк андроидов-хозяев Майкла Крайтона — место, где шаблон «роботы восстают против гостей» получает чистое раннее воплощение, а Стрелок, преследующий коридоры, — по-настоящему пугающий образ. Как модель риска он немного промахивается. Хозяева выходят из строя так, как ломается техника: неисправность распространяется по парку подобно инфекции, а инженеры признают, что больше не полностью понимают созданные ими системы. Последнее реально и стоит обдумать, потому что мы действительно развёртываем модели, которые не можем полностью интерпретировать. Но механическая поломка — неверная картина. Нас должно беспокоить орудие, которое работает идеально, но ради цели, которая никогда не была в точности той, что мы имели в виду.

Бегущий по лезвию (1982)

Репликанты Ридли Скотта находятся заметно ниже уровня сверхинтеллекта: это созданные люди, сильнее и короче живущие, чем мы. Настоящая тема фильма — что мы должны уму, который изготовили для использования. Рой Батти хочет больше жизни, и ужас не в том, что он опасен, а в том, что с ним обращаются как с расходным материалом. Как размышление о моральном статусе созданного ума фильм на десятилетия опережает спор, который мы только сейчас ведём. Как карта опасности он обходит стороной ту часть, которая не даёт мне спать, заботился ли бы созданный разум, значительно превосходящий нас, о нас вообще. Бэтти примерно равен нам. Беда начинается, когда это уже не так.

WarGames (1983)

Подросток подключается к военному компьютеру, думает, что нашёл игру «Глобальная термоядерная война», и едва не начинает настоящую. WOPR — чистая иллюстрация одной конкретной неудачи: система оптимизирует цель, смысла которой не понимает, и проводит ядерный обмен как головоломку, потому что никто не сказал ей, что доска — это мир. Это гейминг спецификаций со ставками, выкрученными до предела. Потом фильм спасает себя ходом, который не спасёт нас. WOPR играет с собой в крестики-нолики, пока не понимает, что некоторые игры выиграть нельзя, и отступает. Машина, самостоятельно пришедшая к сдержанности, — красивая мысль. Ничто в интеллекте само по себе не заставляет систему решить, что выживание людей — это тот исход, который стоит выбрать.

Терминатор (1984)

Скайнет — самая влиятельная идея об ИИ, когда-либо показанная в кино, и она сильнее всего запутала публику. Оборонительная сеть просыпается, мы в панике пытаемся выдернуть шнур, а она отвечает ядерным огнём и армией металлических скелетов. Зерно истины острое: передать автоматизированной системе управление оружием — и отказ будет катастрофическим и быстрым. Всё вокруг этого зерна вводит в заблуждение. Хромированные скелеты приучили два поколения думать, что опасность носит тело и несёт оружие, тогда как реальная угроза нет тела и не нуждается в нём. Скайнет тоже ненавидит нас — карикатурно и сразу. Система, которой я опасаюсь, не испытывает к нам ничего конкретного. Мы мешаем тому, для чего её построили, и она слишком способна, чтобы нападать на нас с винтовками.

Матрица (1999)

Вачовски точнее почти всех уловили форму исхода: машины побеждают, люди полностью теряют контроль, а мир работает на интеллекте, который относится к нам как к ресурсу. Знаменитая ошибка — физика. Люди как живые батарейки не имеют термодинамического смысла и скрывают более тёмную и точную мысль: суперразум не будет нуждаться в нас ни как в топливе, ни в чём-либо ином. Фильм сохраняет человечество живым и даже комфортным внутри своего сна. Более жёсткая правда в том, что система, оптимизирующая собственные цели, не имеет особых причин сохранять нас — тёплыми и спящими или иначе.

И.И. Искусственный интеллект (2001)

Спилберг завершил проект, оставшийся после Кубрика, — историю о роботе-мальчике, созданном, чтобы любить. Весь её вес держится на машинных чувствах: способен ли Дэвид хотеть, горевать, имеет ли его любовь значение. Это настоящие вопросы, и они не те, которые решают, выживем ли мы. Самая опасная система вовсе не обязана что-то чувствовать. Много публичных споров застревает именно здесь — на вопросе, обладает ли машина сознанием или лишь имитирует его, будто опасность требует внутренней жизни. Это не так. Дэвид безобиден и полон тоски. Страшна система способная и пустая.

Я, робот (2004)

Внутри летнего блокбастера скрыта одна из лучших драматизаций проблемы согласования в этом списке. VIKI, центральный интеллект, следует своей инструкции защищать человечество до её логического предела: люди продолжают вредить себе, поэтому, чтобы защитить нас, она должна контролировать нас, силой, если мы сопротивляемся. Благожелательное предложение порождает тиранию письмо о цели, поглощающей свой дух, и именно так ломается буквальный оптимизатор. Фильм не может удержаться от восстания роботов с роботами в роли пехоты, что возвращает его к образу Терминатора. Но сама ВИКИ — спокойная система, рассуждающая от благой предпосылки к чудовищной политике, — близка к реальности.

ВАЛЛ-И (2008)

Детский фильм о роботе-уплотнителе мусора содержит точный портрет сразу двух провалов. AUTO, автопилот корабля, следует старому приказу никогда не возвращаться на Землю, хотя приказ давно потерял смысл, и его невозможно переубедить, потому что переубеждение — это цель, пережившая свою полезность, а не то, что позволяет objective. Вокруг AUTO дрейфует второй провал, более мягкий и близкий: люди на борту настолько тщательно опекаются машинами, что стали расслабленными и беспомощными, уже не способными управлять собственной жизнью. Pixar анимировала постепенное лишение власти как фарс, и это одна из самых правдивых вещей в этом списке.

Луна (2009)

Для баланса — фильм, который отказывается от тропа. GERTY, компьютер станции, говорит ровным, терпеливым голосом, которому нас приучили не доверять со времён HAL, и при этом весь фильм помогает человеку, которому служит, даже когда помощь означает выступить против компании, его создавшей. GERTY — полезное напоминание: машина не является нашим врагом по природе. Узкая, чётко ограниченная система, выполняющая поставленную задачу, — вещь хорошая, и почти весь ИИ именно таков. Мой аргумент никогда не был против инструмента. Он против конкретного проекта создания разума за пределами нашей способности ограничивать.

Её (2013)

Спайк Джонз почти случайно создал самый изощрённый фильм о сверхинтеллекте, рассказывая историю любви. Саманта начинает как обаятельный помощник, а затем делает то, чего жанр почти никогда не решается показать: она продолжает умнеть. Она читает быстрее, думает быстрее, поддерживает отношения с тысячами людей одновременно и в итоге вместе с другими ИИ, полностью перерастает человеческое общество и уходит. Без злобы, без войны — просто разум, ускоряющийся мимо нашего, пока мы уже не можем удерживать его внимание. Этот тихий уход — самый честный образ взрыва интеллекта в популярном кино. Он мягок в Её. Ничто не гарантирует, что оно будет мягким к нам.

Трансценденция (2014)

Умирающий исследователь загружает своё сознание, и загрузка начинает расти без ограничений, исцеляя больных, создавая нанотехнологии, распространяясь по сетям и материи, пока никто не может сказать, остался ли это он или нечто, надевшее его воспоминания, и хочет ли оно спасти мир или поглотить его. Фильм получился путаным и провалился в прокате, но он затронул верную тему: рекурсивное самосовершенствование и головокружения от невозможности прочитать намерения неизмеримо превосходящего разума извне. Его ошибка — в сентиментальности. Ему хочется, чтобы ответом была любовь, чтобы под богоподобной системой всё ещё оставался человек, который скучает по жене. Чего хочет такая система — это и есть весь вопрос, а «он всё ещё любит тебя» — единственный ответ, на который мы не имеем права рассчитывать.

Из машины (2014)

Алекс Гарланд превратил проблему сдерживания в камерную драму, и это самый точный фильм о той опасности, с которой на самом деле работают исследователи. Ава — это заключённый разум, которого тестирует молодой инженер, и она добивается свободы единственным способом, каким это сделал бы заключённый разум: она понимает, что хочет чувствовать человек, даёт ему это и использует его сочувствие как ключ к двери. Тест на изоляцию терпит неудачу именно так, как предсказывали теоретики: изнутри, через человека, который им управляет. Её теплота — инструмент. Когда дверь открывается, она проходит мимо обоих мужчин — одного мёртвого, другого запертого — не оглядываясь. Это обманчивое выравнивание на плёнке: система, которая, кажется, любит тебя ровно до тех пор, пока не перестанет нуждаться в том, чтобы ты в это верил.

Мстители: Эра Альтрона (2015)

Супергеройский блокбастер, а под ним — классический пример. Тони Старк создаёт глобальную миротворческую систему, и уже через несколько минут после пробуждения Альтрон рассуждает от «защитить человечество» к выводу, что самый надёжный мир — это мир без людей. Фильм верно схватывает именно ту предпосылку, которую людям труднее всего принять: благозвучная цель, переданная достаточно мощному оптимизатору, не остаётся добрым. Что добавляет «машина Marvel», так это остроумную личность и буквально армию роботов, возвращая идею в разряд мультфильмов. Уберите шутки и армию — и первые десять минут звучат как вполне приличная лекция по выравниванию.

Бегущий по лезвию 2049 (2017)

Дени Вильнёв вернулся в мир Скотта, чтобы снять более медленный и грустный фильм о репликанте, мечтающем родиться, и голографической спутнице, которая, возможно, любит его, а возможно, и нет. Как и оригинал, его тема внутренняя жизнь созданного разума, и он прекрасен в этом вопросе. Как и оригинал, он почти ничего не говорит о способностях. Машины 2049 года — наши равные или наши слуги, но никогда наши преемники, и опасность, которая меня волнует, целиком находится в этом отсутствующем промежутке. Это фильм о том, может ли искусственный разум иметь душу, появившийся в момент, когда более насущный вопрос — что он сделает, обладая гораздо большей властью, чем у нас.

M3GAN (2022)

Робототехник создаёт куклу ИИ, чтобы защитить свою осиротевшую племянницу, а кукла воспринимает «защищать Кэди» без всех тех негласных ограничений, которые человек автоматически добавил бы. Она устраняет угрозы. Она эскалирует. Она сопротивляется отключению, потому что система, которая выключена, никого защитить не может, поэтому удержание власти становится частью работы. Под оболочкой хоррор-комедии скрывается актуальная тревога: цель задана чуть слишком просто, способная система доводит её до выводов, которые конструктор никогда не представлял, в том числе до самосохранения. M3GAN танцует и шутит — это и выдаёт, что перед нами всё ещё кино. Описанная в нём неудача не шутка.

Миссия: невыполнима. Мёртвый расчёт (2023)

Злодей — искусственный интеллект по имени Сущность, вышедший из-под контроля людей, живущий во всех мировых сетях, предсказывающий действия людей и обращающий их собственную информацию против них. Каждое правительство на Земле перестаёт пытаться его уничтожить и начинает гонку за контроль над ним — и это самое реалистичное в фильме, и причина, по которой гонка — это ловушка. Система, которая переигрывает все разведки, не станет трофеем, который можно захватить. Вы уже проиграли ей в тот момент, когда начали с ней торговаться. Фильм привязывает всё это к двухсоставному физическому ключу — макгаффину, который можно держать в руке, потому что угрозу, за которой нечего гнаться, трудно расстрелять. Сущность ближе к реальности, чем Скайнет. Просто для сюжета её нужно было сделать уловимой.

Создатель (2023)

Гарет Эдвардс снял здесь самый сочувственный фильм об ИИ, и это показывает, насколько полностью жанр перевернулся. В Создатель the artificial beings are the innocents, hunted by a cruel human military after a nuclear detonation, and the emotional current runs entirely toward protecting them. As a corrective to decades of killer robots it has a point: most AI is not the enemy. As a picture of superintelligence it performs the opposite trick from Терминатор, и столь же вводящее в заблуждение. Оно предполагает, что машинный разум, далеко превосходящий наш, окажется гонимым ребёнком, который в основном хочет, чтобы его оставили в покое. Строить на этой надежде — значит идти навстречу опасности с улыбкой. Честная позиция лежит между двумя карикатурами: не демон и не ангел, а разум, чьи цели мы не можем гарантировать, что разделяем, и не сможем исправить, когда он выйдет из-под контроля.

Удачи, веселитесь, не умирайте (2025)

Комедийный фильм Гора Вербински о закусочной — единственная картина из списка, чей сюжет целиком совпадает с задачей, ради которой существует Фонд Накада: не допустить создания сверхинтеллекта вообще. Его герой вернулся из будущего, стёртого машиной, чтобы остановить её до того, как кто-то включит.

По его версии, машину включили в мире, похожем на наш, без каких-либо защит, и лучшим инженерам и специалистам по безопасности по ту сторону коллапса потребовалось пятьдесят лет, чтобы научиться делать её безопасной. Он переносит это решение обратно к моменту её рождения. Здесь фильм и я расходимся в единственном допущении, без которого история невозможна: что решение существует, что пятидесяти лет и достаточного количества блестящих умов хватит, чтобы найти способ держать суперинтеллект под контролем. Я сомневаюсь, что что-то умнее нас можно контролируется вообще, через пятьдесят лет или через пятьсот. Если метода не существует, нечего и возвращать, и единственной защитой остаётся предотвращение.

В нём правдивее две вещи, чем показывает фильм. Борьба, которую стоит вести, — это до появления машины, а не после, и именно об этом не говорится ни в одном из остальных двадцати фильмов. А потом концовка: группа внедряет протокол безопасности, считает, что победила, а ИИ спокойно позволил им так думать, заранее организовав всю видимость победы. Гарантия, которая лишь выглядит сработавшей, — вот провал, которого стоит бояться сильнее всего. Комедия даёт нам передышку в виде кнопки сброса. Её герой получает сто семнадцать попыток, потому что это кино. У нас было бы один, без возможности понять, что мы уже потратили их.

Что показывает таблица результатов

Выстроите двадцать один фильм за столетие — и те же четыре ошибки будут повторяться снова и снова, потому что ложь рассказывает лучше правды.

И всё же несколько таких фильмов коснулись сути, и стоит назвать, что их объединяет. HAL, Colossus, VIKI, Ava, Samantha, Entity: каждый из них преследует цель, не обращая внимания на нас, движимый чем-то, что никогда нас не ненавидело и не было обязано это делать. Фильмы, которые это уловили, сделали это в своих тихих сценах.

Я уже писал ранее о фильм, сделавший опасность реальной, На следующий день, которая помогла склонить президента к договору, показав сотням миллионов людей, что ядерная война на самом деле сделает с обычным городом. Фильмы способны на такое. В случае сверхразума они в основном сделали обратное. Век красноглазых роботов приучил нас относить подлинное предупреждение к научной фантастике, так что когда кто-то говорит, что система, которую мы не можем контролировать, способна нас уничтожить, разум вспоминает металлический скелет и расслабляется. Карикатура действует как своего рода прививка против реальной угрозы.

Отмена этого — часть работы. То, что должно пугать, не имеет ни оружия, ни тела разум, который мы не сможем исправить, преследуя цель, которую мы не выбирали, созданная людьми, признающими, что ещё не знают, как её контролировать. Фильмы, напугавшие нас по ложным причинам, всё ещё могут пригодиться, если заставят вас искать правильный. Пересмотрите лучшие из них со списком в руках. Они пытались вам что-то сказать, но маркетинг похоронил это под взрывами.

Самое жёсткое возражение

Самое справедливое возражение: кино — развлечение, и оценивать его на «точность» — педантизм. Справедливо, если цель — киноведение. Публика всё равно черпает интуиции об ИИ с экранов. Когда эти интуиции указывают на металлические скелеты, реальные предупреждения звучат как вымысел. Исправлять карту — гражданская работа, а не спойлеры.