Окажись я в 1958 году, я бы не колебался. Я бы посвятил жизнь предотвращению конца света. Мой фонд работал бы над тем, чтобы Соединённые Штаты и Советский Союз не развязали термоядерную войну, и не из особой храбрости, а потому что именно эта битва решала, будет ли вообще будущее, о котором можно спорить. Все остальные дела зависели от неё.

Мне не досталась та битва. Бомбу создали, прицелились, и с 1945 года её больше не применяли против городов. Те, кто обеспечил это «с тех пор», кто в годы холодной войны создавал запреты на испытания, горячие линии и режимы проверок, не давшие страшному противостоянию стать последним, совершили одну из важнейших работ прошлого века. Большинство из них никогда не станут знаменитыми. Предотвращение по природе своей тихо. Когда оно работает, ничего не происходит, а «ничего» трудно увековечить на памятнике.

Та же форма, новое оружие

Говоря, что мы переживаем новую холодную войну, я имею в виду ту же структуру: Соединённые Штаты и Китай гонятся за технологией, которую ни одна сторона не может уступить другой, которая способна оборвать человеческую историю, если что-то пойдёт не так, и которую никто из участников гонки честно не контролирует. Замените водородную бомбу на искусственный сверхинтеллект — и получите 1958 и 2026 годы в одном предложении.

Я не единственный, кто слышит это эхо. В июне директор ЦРУ заявил аудитории в Вашингтоне, что не будет преувеличением назвать возможности сегодняшнего передового ИИ "цифровое ядерное оружие."

Различия идут в неправильном направлении

Между тогда и сейчас есть реальные различия, и именно они не дают мне спать. Почти все они делают наше положение труднее, а не легче. Ядерное оружие остаётся в человеческих руках; суперинтеллект не стал бы. Ядерные материалы физичны, их можно добывать и подсчитывать. Входные данные для ИИ — это чипы и код, их труднее увидеть и легче спрятать, хотя не невозможно управлять. А холодная война дала участникам то, чего мы, возможно, не получим, — время. У мира были годы, чтобы осознать Хиросиму, почувствовать страх и выстроить институты в ответ. Возможности ИИ нарастают быстрее, чем любые институты, которые у нас есть, успевают за ними.

Что на самом деле доказала холодная война

Но та же эпоха опровергла главный довод, на который опираются сторонники ускорения: будто соперники, не доверяющие друг другу, никогда не смогут договориться о сдерживании. Вашингтон и Москва совершенно не доверяли друг другу, и всё же подписали обязывающие, поддающиеся проверке соглашения по контролю над вооружениями, потому что обе стороны видели: неограниченная гонка оставит их в худшем положении, чем правило, одинаково связывающее их. Недоверие было причиной договоров, а не препятствием. Если два правительства смогли найти такую логику при десятках тысяч боеголовок, нацеленных на города друг друга, уверенное утверждение, что США и Китай никогда не смогут сделать то же самое в сфере ИИ, — это лишь оправдание для продолжения гонки, замаскированное под жёсткий реализм.

Почему существует Фонд

Эквивалент той борьбы пришёлся на моё поколение, и на этот раз я здесь. Я отказываюсь быть частью поколения, которое создало оружие, способное целиться самостоятельно, и всё это время убеждало себя, что выбора нет.

Те, кто предотвратил худшее в холодной войне, настаивали, вопреки возражениям всех, кто называл их наивными, что некоторые технологии слишком опасны, чтобы оставлять их на милость гонки. Они были правы тогда. Единственная задача, которая сейчас имеет значение, — снова оказаться правыми и вовремя.