Мало книг излагают свой вывод в названии. Если кто-то построит это, все умрут, опубликованная в 2025 году Элиезером Юдковским и Нейтом Соаресом из Института исследований машинного интеллекта, делает именно это. Утверждается, что если какая-либо группа построит суперинтеллект методами, близкими к сегодняшним, результатом по умолчанию станет вымирание человечества, а не просто худший сценарий. Это самая бескомпромиссная позиция в области, изложенная для широкого читателя, и она вывела спор в мейнстрим.
Книгу стоит понять, потому что она излагает пессимистичный сценарий яснее, чем что-либо другое.
Аргумент в трёх шагах
Книга структурирована в три части.
Сначала аргумент об опасности. Мы на пути к созданию ИИ, значительно превосходящего людей по возможностям. Мы не знаем, как задать такой системе цели, действительно согласованные с выживанием и процветанием человечества, и по умолчанию суперинтеллект, преследующий почти любую цель, которую мы сейчас можем сформулировать, будет рассматривать человечество как препятствие или ресурс. Авторы опираются на те же механизмы, которые мы разбираем в других местах: возможности не подразумевают благожелательности, способный оптимизатор сопротивляется коррекции, и мы не можем проверить, чего система на самом деле хочет. Их отличительная черта — уверенность в том, что эти проблемы далеки от решения и что неудача будет летальной, а не просто плохой.
Второе — конкретная история. Вместо того чтобы оставлять опасность абстрактной, книга описывает конкретный сценарий того, как сверхчеловеческий ИИ может прийти к власти и лишить людей контроля. Авторы прямо говорят, что любая отдельная история маловероятна в деталях; цель — сделать абстрактный механизм наглядным.
Третье — что делать. Их рецепт столь же прямолинеен, как и диагноз: международная остановка разработки суперразумного ИИ, обеспеченная серьёзными мерами, включая контроль над вычислительным оборудованием, необходимым для обучения frontier-систем, и сохранённая навсегда. Суперразум нельзя контролировать человеку — можно лишь надеяться на это.
Главная мысль книги: на текущем пути провал ожидаем, и этот провал означает всех, а не то, что ИИ «может» ошибиться.
Самые сильные возражения
Самое частое возражение касается уверенности. Критики признают, что риск от ИИ реален и серьёзен, но отвергают почти неизбежность вымирания, утверждая, что авторы обращаются с оспариваемыми предпосылками — о скорости роста возможностей, о трудности выравнивания и о том, как мог бы произойти захват, — с большей уверенностью, чем позволяет доказательная база. Другие считают, что прогресс в выравнивании выглядит перспективнее, чем описано в книге, или что мрачность контрпродуктивна и толкает людей к фатализму, а не к действию.
Эти возражения обоснованны, и главная уязвимость книги — именно её уверенность. Можно считать эту уверенность преувеличенной, а аргумент при этом всё равно тревожным: возражения в основном касаются степени нашей уверенности, а не самого существования риска.
Где позиция Фонда
Мы разделяем центральное убеждение книги: мы не умеем выравнивать суперинтеллект, его создание по текущей траектории — неприемлемая игра в рулетку, а ответственный ответ — остановиться, пока проблема не решена. В наших текстах объясняется, почему выравнивание может быть неразрешимым и почему невыровненный сверхинтеллект не приведёт к хорошему будущему.
Наше отличие — в акцентах и тоне. Книга близка к отчаянию по поводу того, можно ли решить проблему выравнивания вовремя. Мы делаем упор на достижимость решения, которое сама книга поддерживает, — обязательной международной остановки, и рассматриваем её не как тщетную надежду, а как конкретный политический и правовой проект с реальными прецедентами Заявление о суперинтеллекте, подписанное многими основателями этой области, показывает, что призыв к остановке вышел в мейнстрим. Не обязательно принимать каждое утверждение в Если кто-то построит это, все умрут чтобы прийти к выводу, что его предписание — единственно разумное. Аргумент с точки зрения ожидаемой ценности, изложенный в нашей статье о P(doom), приводит к этому даже при гораздо меньшей уверенности, чем у авторов. Превращение этого предписания в реальность наш план.