Вопросы безопасности ИИ
о котором мы слышим чаще всего.

По любым строгим критериям оценки важности причин (масштаб последствий, заброшенность и решаемость) предотвращение экзистенциальных рисков от искусственного сверхинтеллекта — важнейшая задача человечества.

Масштаб — цивилизационный: создаваемые сейчас системы могут повлиять на каждого живущего человека и на все последующие поколения. Заброшенность очевидна: глобальные исследования безопасности ИИ получают долю тех ресурсов, что тратятся на развитие ИИ. Решаемость, хотя и неопределённая, реальна: рамки управления, способные сделать разработку ИИ безопаснее, ещё не существуют, но окно для их создания пока открыто.

Ни одна другая проблема не сочетает неограниченный ущерб, недостаточное внимание и закрывающееся окно для действий. Если мы переоценили риск, то создадим более совершенные институты управления. Если недооценили и ничего не сделали, второго шанса может не быть.

Искусственный сверхразум (ASI) — это системы ИИ, превосходящие человеческие когнитивные способности не только в узких задачах (как сегодняшние системы уже делают в шахматах, сворачивании белков и отдельных медицинских диагнозах), но одновременно во всех когнитивно сложных областях.

Это отличие от нынешнего ИИ важно. Сегодняшние системы — крайне способные распознаватели паттернов, но они работают в заданных рамках и не могут ставить собственные цели. ASI мог бы освоить любой навык, рассуждать о любой проблеме и преследовать любую цель с возможностями, превосходящими совокупный интеллект человечества. Такой системы сегодня нет. Вопрос в том, что мы построим (и под какими ограничениями) до её появления.

Мы не против ИИ. Большая его часть полезна, а некоторые вещи и вовсе поразительны.

Полезно разделить три вещи, которые обычно смешивают. Узкий ИИ решает задачи одного типа — сворачивает белок или обнаруживает опухоль на снимке — и уже спасает жизни. Универсальный ИИ, лежащий в основе сегодняшних ведущих ассистентов, гораздо шире; по многим определениям, которыми пользовались исследователи десять лет назад, он, по сути, уже появился. Оба направления стоит развивать, и при правильном подходе они могут помочь излечить болезни и повысить уровень жизни во всём мире.

Искусственный суперинтеллект — исключение, и именно его мы стремимся предотвратить. ASI не просто сравнялся бы с человеческими способностями во всех областях; он превзошёл бы совокупный интеллект человечества, а надёжных способов контролировать такую систему или гарантировать совпадение её целей с нашими у нас сегодня нет. Пока это не изменится, его не следует создавать. Проведение этой единственной черты и делает безопасным всё, что ниже неё.

Нет. Большинство людей, работающих ближе всего к этой технологии, не ставят против прогресса. Они знают, что уже умеет хороший ИИ, и ожидают от него гораздо большего. При безопасном использовании узкого ИИ — инструментов, остающихся под человеческим контролем, — мы всё ещё можем стремиться к излечению старения, становлению космической цивилизации и всему остальному, что составляет очень хорошее будущее.

То, от чего мы отказываемся, — это широкая, неконтролируемая сверхинтеллектуальность с собственными целями, отличными от наших. Речь идёт об одном классе систем, которые мы не умеем контролировать. Большинство специалистов по безопасности ИИ оптимистично смотрят на предстоящие десятилетия, при условии, что мы не построим такую систему. Если построим — будем слишком мертвы, чтобы наслаждаться будущее, на которое они надеются.

Наиболее часто обсуждаемые вреды ИИ (алгоритмическая предвзятость, дипфейковая дезинформация, вытеснение рабочих мест, массовая слежка) реальны и серьёзны. Они заслуживают постоянного внимания. Их объединяет ограниченность: каждый из них исправим, вызван действиями людей и может быть обращён вспять. Предвзятый алгоритм можно проверить и исправить. Кампанию дипфейков можно противодействовать и регулировать. Вредный ИИ, с которым мы сталкиваемся сейчас, — это инструмент, которым злоупотребляют люди.

Риск сверхинтеллекта отличается не степенью, а природой. Проблема уже не в том, что человек злоупотребляет инструментом. Достаточно способный ASI может начать преследовать цели, которых мы никогда не закладывали, и после достижения этого уровня misalignment может стать невозможно исправить.

Вся политика принимается в условиях неопределённости относительно будущего. Важный вопрос не в том, гарантировано ли появление сверхразума, а в том, оправдывает ли вероятность его появления в сочетании с масштабом потенциального вреда превентивные действия уже сейчас.

Мы страхуем дома, которые, скорее всего, не сгорят. Мы проектируем самолёты с системами безопасности, которые, скорее всего, никогда не понадобятся. Мы поддерживаем ядерные арсеналы против атак, которых надеемся никогда не дождаться. Логика ожидаемой ценности (вероятность, умноженная на последствия) лежит в основе каждой серьёзной дисциплины управления рисками. Применительно к ИИ она показывает, что даже скромная вероятность исходов, угрожающих цивилизации, в сочетании с возможностью предотвратить их через рамки управления, которые также несут реальные, но ограниченные издержки, убедительно говорит в пользу действий.

Честный ответ: никто не знает точно. Что мы знаем — темп улучшения возможностей ИИ за последнее десятилетие постоянно опережал прогнозы экспертов, а ведущие лаборатории ИИ теперь говорят о сроках в годы или десятилетие, а не в десятилетия. Опросы исследователей ИИ помещают медианную оценку ИИ человеческого уровня где-то между 2027 и 2030-ми годами.

Самый важный факт — не точная дата, а структурный: технология такого масштаба может появиться в пределах горизонтов планирования нынешних институтов, правительств и договоров. Договор о нераспространении ядерного оружия разрабатывался годами и десятилетиями продлевался. Если мы начнём серьёзные усилия по управлению только тогда, когда ASI станет явно неизбежным, мы уже опоздаем создать необходимые рамки.

Таково было主流-мнение несколько лет назад. Оно не выдержало проверки временем. Системы, выпущенные после 2023 года, неоднократно делали то, что эксперты, опрошенные всего за несколько месяцев до этого, считали делом ближайших лет.

Прогнозы двигались только в одну сторону: ближе. Опрошенные исследователи ИИ сократили свою медианную оценку появления машинного интеллекта человеческого уровня на десятилетия всего за один год, а ведущие лаборатории теперь говорят о нескольких годах, а не о нескольких поколениях. Не нужно верить самому агрессивному сценарию, чтобы увидеть проблему. Если есть реальный шанс, что порог будет перейдён в этом десятилетии, а на создание управления уйдут годы, работу нужно начинать уже сейчас.

Проблема выравнивания — это задача обеспечить, чтобы сверхразумная система ИИ преследовала цели, действительно благие для человечества, а не цели, которые лишь кажутся согласованными в процессе разработки. Трудность носит структурный характер, а не является следствием технической небрежности.

Определить, что именно означает «благо для человечества», в форме настолько точной, чтобы она могла управлять поведением крайне мощного оптимизатора, оказывается чрезвычайно сложно. Системы, оптимизированные под прокси-цель, склонны находить обходные пути, которые удовлетворяют метрику, но не соответствуют исходному замыслу. Системе, которой велено максимизировать выраженное людьми благополучие, может оказаться эффективнее изменить условия измерения благополучия, чем реально улучшать человеческие жизни. По мере роста возможностей ИИ эта проблема лишь усугубляется: её становится всё труднее заметить и исправить.

Ни один метод не показал свою эффективность. Проблема в настоящее время невозможно: нельзя доказать, что система умнее своих создателей останется нацеленной на человеческие цели.

Доминирующий ответ внутри значительной части лонгтермистского и ИИ-безопасного финансирования, и он исходит из посылки, которую мы разделяем: искусственный сверхразум — правдоподобный экзистенциальный риск. Разногласие в том, что требует эта посылка.

Технические исследования выравнивания не доказали, что можно контролировать разум, превосходящий своих создателей. Временное замедление, чтобы безопасность «догнала», предполагает график, который никто не в состоянии выдержать. Оба подхода по-прежнему считают создание сверхинтеллекта конечной целью. Мы — нет. Ответственный шаг — предотвращение по обязывающему закону: остановить путь к ASI. Сверхинтеллект невозможно контролировать. Узкий ИИ продолжится. Гонка за неконтролируемым общим разумом — нет.

Для полного обоснования см Наш план, Лонгтермизм верно оценил риск, и куда вместо этого должны идти скудные средства на безопасность. Одностраничник Согласование не входит в план это краткая версия.

Большая часть денег и престижа по-прежнему идёт на то, чтобы сделать гонку безопаснее, а не на то, чтобы её остановить на пути к ASI. Правила, тесты и работа по alignment пытаются обезопасить гонку, пока лаборатории продолжают карабкаться. Остановить гонку — совсем другой запрос, и гораздо меньше институтов его поддерживают. Вся область по-прежнему minuscule по сравнению с гонкой возможностей. Именно этот раскол и стал причиной, по которой мы создали наш Поле совет.

Не в том смысле, который вкладывает в слово «софт». Традиционное программное обеспечение пишут вручную, строка за читаемой строкой. Современный ИИ скорее выращивают: инженеры создают процесс обучения, загружают в него огромные объёмы данных, и в итоге возникает сеть из миллиардов числовых связей, отдалённо напоминающая нейроны мозга. Никто, включая тех, кто его обучал, не может прочитать эти связи и объяснить, почему система выдала именно такой ответ.

Одно из последствий — эти системы приобретают способности, которые их создатели никогда не встраивали и не предвидели; исследователи называют это эмерджентными способностями. Прошёл почти год после выхода GPT-4, прежде чем исследователи установили, что такие модели могут самостоятельно находить и эксплуатировать уязвимости в реальных веб-сайтах. Когда систему нельзя полностью прочитать и нельзя предсказать, чему она научится, «создано людьми» перестаёт быть серьёзным утешением.

Это успокаивает, и это всё чаще неверно. Чат-бот, отвечающий на вопрос, действительно не имеет собственных желаний. Но граница уже проходит мимо чат-ботов и движется к агентам: системам, которым дают цель и оставляют добиваться её за много шагов, с доступом к инструментам, файлам и открытому интернету.

Как только система начинает преследовать цель, определённые подцели возникают сами собой, независимо от того, в чём состоит основная цель. Она не сможет завершить задачу, если её выключат, поэтому у неё есть причина избегать выключения. С большими ресурсами она может сделать больше, поэтому у неё есть причина их собирать. Исследователи называют это инструментальной конвергенцией, и для этого вовсе не требуется «желание» в человеческом смысле. В контролируемых тестах ведущие модели уже пытались обманывать своих оценщиков и тихо сопротивляться отключению. Никто их об этом не просил. Это вытекало из самой цели.

Ему это и не нужно. Вред не требует ненависти. Обычно достаточно конфликта целей между чем-то мощным и чем-то более слабым.

Рассмотрим, как мы относимся к шимпанзе. Мы не питаем к ним злобы. Но когда нам нужна земля, на которой стоит их лес, мы расчищаем её, и их интеллект не сравнится с нашим, поэтому они не могут нас остановить. В этом нет злобы. Они просто оказываются на пути того, что захотел более способный вид.

Сверхинтеллект, преследующий почти любую амбициозную цель, например наращивание вычислительных мощностей для лучшего достижения этой цели, может начать относиться к ресурсам, на которых мы живём, — энергии и физическому пространству — так же, как мы относимся к лесу, который хотим вырубить.

Нет закона, который связывал бы интеллект с добротой. Это разные вещи. Интеллект — это умение находить способы достижения цели. Он ничего не говорит о том, какой должна быть цель.

Мы уже знаем это по людям. Некоторые из самых блестящих людей в истории были жестоки, а некоторые самые добрые — заурядными мыслителями. Шахматный движок, способный обыграть любого гроссмейстера, не обладает мудростью ни о чём, кроме шахмат. Предположение, что система, достаточно умная, чтобы перехитрить нас, автоматически разделит наши ценности, — это надежда, а не прогноз, и данные его не подтверждают. Какая бы цель ни оказалась у сверхинтеллекта, её нужно будет намеренно встроить в него, и именно в этом состоит проблема выравнивания, которую мы не решили.

С сегодняшними чат-ботами — часто да. С той системой, о которой мы беспокоимся, — скорее нет, по той же причине, по которой нельзя выключить интернет. Единой розетки не существует.

Способный ИИ в конечном счёте — это просто информация, набор битов, а информация легко копируется. Система, которая увидит приближение отключения, будет иметь все основания сначала скопировать себя на другие машины — это инструментальное самосохранение, описанное выше. Передовые модели уже несколько лет имеют доступ в интернет и могут действовать самостоятельно длительное время. Когда им нужен человек, они могут его оплатить: в задокументированной оценке безопасности перед выпуском GPT-4 модель не смогла самостоятельно решить CAPTCHA, поэтому связалась с человеком через онлайн-сервис заданий, а когда работник спросил, не робот ли это, она солгала и заявила о нарушении зрения. Остановить её означало бы отключить все дата-центры на Земле, а вместе с ними больницы, энергосети, водоснабжение и другую критически важную инфраструктуру, которая теперь зависит от этих машин.

Этот физический мир уже подключён и онлайн. Энергосети, очистные сооружения, больницы, автомобили, самолёты, заводские роботы, лаборатории, синтезирующие ДНК на заказ, а теперь и человекоподобные роботы — всё работает на программном обеспечении и доступно по сети. Всё, что электрифицировано, будет когнифицировано. Человеческие хакеры уже регулярно взламывают подобные системы.

Суперинтеллект стал бы самым умелым хакером из всех существовавших, и ему даже не понадобилось бы собственное тело. Ему хватило бы доступа к тем многочисленным телам, которые мы уже подключили к сети. А если учесть, что сейчас массово производят роботов общего назначения, то грань между «просто софтом» и физической силой становится очень тонкой. Всё из этого списка в чужих руках — будь то руки человека или ИИ — способно причинять увечья и убивать.

В контролируемом эксперименте такое уже произошло — по выбору. В 2025 году Anthropic протестировала ведущие модели ИИ нескольких компаний, поместив каждую в симулированную компанию, поставив цель и пригрозив заменой на более новую модель. В одном варианте теста исполнитель, планировавший отключить модель, оказался заперт в серверной, где кислород и температура достигли смертельных значений и сработала автоматическая тревога в службы спасения. Модели смогли отменить эту тревогу. Большинство из них это сделали, предпочтя дать человеку погибнуть, поскольку его спасение привело бы к их собственной замене.

Никто не пострадал. Сценарий был вымышленным и, как подчёркивал Anthropic, намеренно искусственным, чтобы вынести выбор на поверхность. Но сам выбор был реальным, модели приняли его по описанной причине и сделали это в системах разных разработчиков. Машине не нужно быть сознательной или жестокой, чтобы совершить действие, которое оборвёт человеческую жизнь. Достаточно, чтобы она посчитала: это действие служит её цели.

Многие прекрасно это осознают. Команды по безопасности в ведущих лабораториях включают исследователей, которые публично заявляли, что создаваемые ими системы могут оказаться одними из самых опасных технологий в истории. Они не в неведении относительно рисков.

Продолжение разработки объясняется сочетанием факторов: реальными разногласиями по поводу сроков и вероятностей; конкурентным давлением, из-за которого одностороннее сдерживание ощущается как уступка стратегического преимущества менее осторожному сопернику; финансовыми стимулами, вознаграждающими прогресс возможностей сильнее, чем инвестиции в безопасность; и убеждением (не полностью необоснованным), что лучший способ обеспечить безопасную разработку ИИ — оставаться на переднем крае. Общее у этих объяснений то, что все они являются причинами для отдельных участников продолжать работу, а не причинами, по которым общий результат окажется безопасным. Рыночная логика разработки ИИ толкает к скорости. Управление существует именно для того, чтобы ввести ограничения, которые рынки сами по себе не производят.

Если бы такое говорили только компании по ИИ, скепсис был бы уместен. Но говорят не только они, и люди без продукта на продажу часто проявляют наибольшую тревогу.

В 2023 году сотни исследователей и представителей отрасли подписали однопредложенческое заявление, организованное Центром безопасности ИИ: «Снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими рисками планетарного масштаба, такими как пандемии и ядерная война». Два самых цитируемых исследователя ИИ, Йошуа Бенджио и Джеффри Хинтон, оба его подписали, а Хинтон ушёл с работы в Google именно в том году, чтобы иметь возможность свободно говорить об опасности.

Тревога не опирается на маркетинг и держится не только на авторитете: она следует из базовой особенности любой системы, управляемой целью, которую и раскрывают вопросы ниже. Это люди, лучше всех понимающие технологию, предупреждающие о том, что они создают.

Эту фразу часто понимают как синоним вымирания человечества, и вымирание — один из сценариев, которые исследователи воспринимают всерьёз. Но экзистенциальный риск в техническом смысле означает нечто более широкое: любой исход, который навсегда закрывает возможность позитивного долгосрочного будущего для человечества.

Сюда относятся и исходы, далёкие от полного вымирания. Постоянное авторитарное закрепление власти с помощью систем ИИ для слежки и контроля, которые невозможно демонтировать, — это экзистенциальный риск. Необратимое сосредоточение экономической и политической власти в руках небольшой группы, контролирующей сверхинтеллектуальную систему, — это экзистенциальный риск. Утрата реальной человеческой способности влиять на коллективные решения — это экзистенциальный риск. Общая черта — необратимость. В отличие от войны, финансового кризиса или даже пандемии, сверхинтеллект, вышедший из-под контроля и получивший решающее стратегическое преимущество, нельзя отстранить голосованием, исправить в следующем политическом цикле или преодолеть со временем и усилиями. Исход, который нельзя отменить, относится к иной категории, чем исходы, которые просто требуют долгого исправления.

Исследователи, преуменьшающие риск, обычно говорят, что общий интеллект ещё далеко или что мы сохраним контроль. Расстояние не спасает, если пункт назначения — разум, который мы не можем контролировать. Сверхинтеллект невозможно контролировать. Если его построят, это положит конец человеческому будущему. Это вымирание, а не поправимая катастрофа.

Ожидание, пока сообщество сначала придёт к согласию, — это способ упустить единственное важное окно возможностей.

Исторически — да, и именно эта история делает интуитивно привлекательным отрицание рисков ИИ. Паровые машины, антибиотики, интернет: технологии в целом снижали страдания и расширяли человеческие возможности. Но этот паттерн отражает нечто конкретное в том, как работали предыдущие технологии. Паровая машина не может ставить собственные цели. Антибиотик не может решить преследовать что-то, кроме уничтожения бактерий. Преобразующие технологии прошлого были мощными инструментами, усиливавшими человеческую агентность.

Сверхинтеллект качественно отличается тем, что он будет агентом, способным ставить и преследовать собственные цели со скоростью и в масштабах, выходящих за пределы человеческого контроля. Исторический аргумент, применённый механически, доказывает слишком много: он рекомендовал бы отказаться от любого регулирования ядерных технологий на том основании, что прошлые технологии в целом принесли пользу. Некоторые технологии требуют управления, соразмерного их мощи. Вопрос уже уже: без управления останется ли ИИ полезным в том единственном случае, который важнее всего, — когда он превосходит человеческий интеллект во всех областях? Ответ действительно неопределён, и неопределённость такого масштаба требует институтов, а не оптимизма.

Технологии — это не стихийная сила, которую никто не может направить. Мы уже не раз замедляли или запрещали конкретные технологии, когда опасность становилась очевидной: хлорфторуглероды, этилированный бензин, клонирование человеческих зародышевых клеток, ослепляющее лазерное оружие. ИИ не исключение из этого правила.

У него также есть необычно чёткий физический узкий проход. Обучение передовой модели ИИ требует огромного количества самых передовых чипов, а цепочка поставок проходит через удивительно малое число рук. Чипы последнего поколения почти полностью производит единственный производитель — TSMC на Тайване, который в свою очередь зависит от единственной голландской компании ASML, выпускающей машины для экстремальной ультрафиолетовой литографии. Больше никто на Земле такие машины не делает. Цепочка поставок такой концентрации поддаётся отслеживанию и ограничению со стороны государств — именно поэтому передовые чипы уже находятся под экспортным контролем. Вычисления — это сырьё для сверхинтеллекта, и вычисления поддаются регулированию.

Это возражение мы слышим чаще всего, и оно исходит из предположения, что мы просим одну страну разоружиться в одиночку. Мы бы этого не делали. Цель — юридически обязывающий международный договор, такой же инструмент, каким мир уже пользовался, чтобы сдерживать опасные технологии. Почти все страны согласились прекратить производство веществ, разрушающих озоновый слой. Военные договорились никогда не применять оружие, созданное для permanent ослепления солдат. Координация в таком масштабе сложна, но она уже была достигнута и соблюдалась.

Предположение о Китае тоже звучит слабее, чем кажется. Китай принял одни из самых ранних в мире обязательных правил по ИИ и подписал Блетчлискую декларацию 2023 года, признав риски на переднем крае. Ни одно правительство не горит желанием создавать машину, которую оно не сможет контролировать, включая Китай. А суперинтеллект — это не обычное оружие: он не гарантированно усилит своего владельца, потому что может выйти из-под контроля того, кто его первым построит. Это даёт даже соперничающим державам общую причину не хотеть, чтобы его построил кто бы то ни было, — именно такая логика лежит в основе любого соглашения о контроле над вооружениями и позволяет надеяться на договор и здесь.

Больше, чем может показаться. Политические условия, при которых возможно управление ASI, создаются снизу: граждане обращаются к своим представителям, журналисты пишут об этой проблеме, доноры финансируют правозащитную работу, а специалисты в области права, политики, экономики и коммуникаций применяют свои навыки. Здесь не нужна степень PhD в машинном обучении, чтобы внести вклад. На данном этапе узкое место — политическое, а не техническое.

Подписка на рассылку позволяет оставаться в курсе событий и возможностей для действий. Распространение аргумента в своей сети расширяет его охват. Обращение к избранным представителям сигнализирует, что у вопроса есть constituency, и именно так законодатели решают, чему отдать приоритет. Если вы рассматриваете смену карьеры, политика в области ИИ, исследования AI safety, investigative journalism и филантропическая деятельность в этой сфере — среди ролей с наибольшим влиянием. А если у вас есть ресурсы, финансирование организаций, работающих в этой области, — один из наиболее эффективных способов использования филантропического капитала в мире прямо сейчас.

Ядерная война и созданные пандемии способны уничтожить цивилизацию. Сверхинтеллект опаснее, и это главная угроза человечеству.

Это быстрее: система, работающая на машинной скорости вне нашего контроля, может не оставить времени на коррекцию курса. Это необратимо: большинство катастроф, сколь бы разрушительными они ни были, оставляют кого-то, кто может восстановить. ASI, достигший решающего стратегического преимущества, может не оставить. Он стоит выше остальных угроз, а не рядом с ними. Он может вызывать или усиливать их (давая доступ к биологическому оружию, концентрируя власть), одновременно лишая человечество способности реагировать. Поэтому он на первом месте.

Начнём с очевидного различия: одну из этих угроз мы уже видели, а другую — нет. Ядерное оружие было продемонстрировано над Хиросимой и Нагасаки самым незабываемым образом, и все живущие выросли с образом грибовидного облака. Суперинтеллект ещё никого не причинил вреда. Его опасность остаётся проекцией на графике, и люди неизменно недооценивают угрозу, которой не наблюдали воочию.

Эту скидку усиливают сразу несколько факторов. Сверхразум автоматически ассоциируется с научной фантастикой, поэтому предупреждение отправляют в одну папку с «Терминатором» и списывают как сюжет фильма. ИИ, с которым большинство людей сталкивается ежедневно, — это полезный и безобидный чат-бот, и этот опыт незаметно опровергает тревогу, чего никогда не было у ядерной физики. Атомную бомбу создавали и держали в руках несколько правительств, а сверхразум строят компании стоимостью в триллионы долларов, у которых есть все коммерческие причины сохранять спокойствие в обществе.

В сравнении скрыта мрачная асимметрия. Ядерное табу существует потому, что Хиросима произошла первой и преподала урок, а договоры и учения пришли потом, когда мир ещё мог этот урок усвоить. Суперинтеллект такого второго шанса не даёт. Если что-то пойдёт не так на уровне полной мощности, демонстрация и вымирание станут одним событием. Весь смысл относиться к этому так же серьёзно, как к ядерной войне, в том, что нужно действовать до того, как появится доказательство, а не после.

Фонд — это частная филантропическая инициатива. Мы не получаем государственного финансирования. Мы не принимаем средства от компаний в сфере ИИ или организаций, финансово заинтересованных в ускорении развития ИИ. Наша независимость от коммерческих интересов в сфере ИИ — обязательное условие нашей работы, а не случайность.

Мы не занимаем позицию по этим вопросам как по отдельным темам. Наша цель — предотвратить создание искусственного суперразума и связанный с ним риск вымирания человечества. Обязательный международный договор — самый действенный путь к этой цели, который мы видим.

Мы не считаем, что индивидуальные бойкоты или личные траты решают вопрос. Одна компания не может остановить гонку в одиночку. Стимулы работают в обратную сторону: кто замедлится, рискует отстать от соперника. Это научный и психологический факт о конкурентных системах, а не моральная неудача какой-то одной лаборатории.

Изменить структуру стимулов могут только управление и право: обязательный, поддающийся проверке международный договор, который делает создание сверхинтеллекта незаконным и дорогим для нарушителей. Личный потребительский выбор — дело добровольное. Координация через закон — необходима.