30 июня на технологическом саммите в Вашингтоне директор ЦРУ Джон Рэтклифф публично произнёс фразу, на которую мало кто в его должности рискует. О сегодняшних передовых моделях ИИ он сказал, что не будет «неуместным назвать их возможности сродни цифровому ядерному оружию». Он не активист безопасности и не академик с тезисом на продажу. Он возглавляет разведывательное ведомство. Он выбрал одни из самых тяжёлых слов, которые человек на его месте может произнести вслух.

Он не единственный. В марте тогдашний директор Национальной разведки Тулси Габбард заявила, что люди должны сохранять контроль над этими системами. Директор АНБ, по сообщениям, сообщил сенаторам, что модель Mythos от Anthropic взломал почти все засекреченные системы агентства за часы во время санкционированного теста. В последние недели руководители кибербезопасности стран «пяти глаз» выпустили редкое совместное заявление с предупреждением, что «действовать нужно сейчас». Когда люди, читающие засекреченный трафик, начинают говорить об этом открыто, стоит остановиться и прислушаться.

Где метафора работает

Ядерное оружие — это мера, которой мир пользуется, чтобы сказать «настолько опасно, насколько вообще может быть опасна технология». Называть ИИ её цифровой версией — значит говорить, что эти инструменты теперь способны причинять вред в масштабе, который раньше требовал государства и боеголовки: разрушительное кибервторжение или реальная помощь в создании патогена. В этом Рэтклифф прав, и то, что действующий директор разведки говорит об этом в публичной речи, само по себе новость.

Где это ломается

Сравнение незаметно подсовывает успокоение, потому что у ядерного оружия есть одно милосердное свойство: оно никогда ничего не решает. Боеголовка лежит в шахте и ждёт. У неё нет целей. Она ничего не делает, пока человек не повернёт два ключа. Все меры безопасности, которые мы построили вокруг бомбы — от цепочки командования до договоров по контролю над вооружениями, — работают именно потому, что оружие остаётся инструментом в человеческих руках.

Сегодняшние системы уже действуют как агенты, преследующие цели, а то, к чему они ведут, — искусственный суперинтеллект, — будет агентом, превосходящим по способностям тех, кто его создал. Суперинтеллект ближе к командиру, решающему, куда упадёт бомба, только его не назначил никакой человек и никакой человек не может снять его с командования.

Ядерное оружие никогда не выбирает свою цель само.

Передовой ИИ подобен цифровому ядерному оружию по масштабу воздействия. Система, к которой он ведёт, станет оружием, которое само выбирает цель. Мы сравниваем эту опасность со старыми угрозами подробно в другом месте, и именно по этой причине суперразум выходит на первое место.

Вторая задача ядерной эпохи

Сила фразы «цифровое ядерное оружие» в том, что она исходит изнутри мира национальной безопасности, а не от его обычных критиков. Опасность в том, что мы слышим её, представляем бомбу и успокаиваемся ложным чувством, что с бомбой можно делать всё то же: охранять, считать и в худшем случае оставлять неиспользованной в шахте. Сверхразум не даёт ни одной из этих возможностей.

У ядерной эпохи есть второй урок, и именно он важен сейчас. После того как мы создали оружие, мы десятилетиями строили договоры, чтобы оно никогда больше не было применено. Эта терпеливая архитектура предотвращения, проверки и контроля над вооружениями — настоящее наследие холодной войны. Наша версия её едва начата, и разница в том, что на этот раз мы не можем строить её задним числом. Оружие, способное целиться самостоятельно, нужно предотвратить до его появления, а не сдерживать после. Это наш план.