Если вы проводили время в онлайн-дискуссиях об ИИ, то наверняка видели этот суффикс. Люди добавляют «e/acc» к никам так же, как раньше носили значок на лацкане. Это сокращение от эффективный акселерационизм, и это самое чёткое, самое уверенное и самое влиятельное противодействие движению за безопасность ИИ. Относиться к нему серьёзно (а не карикатурно) — единственный честный способ с ним спорить.

Во что верит эффективный акселерационизм

Эффективный акселерационизм возник около 2022 года из анонимных аккаунтов в соцсетях, прежде всего того, что называл себя «Beff Jezos», позже опознанного как бывший инженер Google Гийом Вердон, работавший с соавтором, известным как Bayeslord. Он заимствует название более старого философского течения — акселерационизма, но на практике проще и оптимистичнее своего академического предшественника.

Основные утверждения:

  • Технологии — двигатель человеческого процветания. Почти каждый прирост здоровья, богатства и свободы проистекает из технологического прогресса. Больше прогресса, быстрее — значит больше процветания.
  • ИИ — самый мощный из когда-либо созданных подобных двигателей, и его ускорение — самый быстрый путь к излечению болезней, преодолению дефицита и расширению того, что человечество может делать и кем становиться.
  • Катастрофический риск низок или незначителен. Некоторые видные акселерационисты оценивают вероятность экзистенциальной катастрофы, вызванной ИИ, как «нулевую или близкую к нулю» и считают сценарии гибели неопровержимой тревогой.
  • Невозможно понять технологию, не создав её. Ограничения закрывают именно тот опыт, который учит делать технологию безопасной. Мы учимся, действуя, а не останавливаясь.
  • Ограничение опасно само по себе. Жёсткое регулирование концентрирует власть, душит конкуренцию и может отдать будущее менее щепетильным игрокам. Открытая, быстрая, децентрализованная разработка безопаснее, чем контролируемое замедление.

В таком изложении e/acc — узнаваемо американская, узнаваемо просвещенческая вера в прогресс, направленная на технологию с подлинным потенциалом, а не глупость. Наша собственная позиция совпадает с ней в большем, чем предполагает онлайн-крик: как мы прямо говорим, мы не против ИИ. Узкий ИИ уже помог вылечить болезни и ускорил научные открытия. Разногласия гораздо уже и конкретнее, чем «оптимисты против алармистов».

Где e/acc правы

Честное опровержение начинается с признания сильных сторон, потому что они действительно сильны.

Прогресс действительно был великой гуманитарной силой. Ожидаемая продолжительность жизни, детская смертность, грамотность, абсолютная бедность — долгосрочные тренды здесь лучшие в истории человечества, и их обеспечил технологический прогресс. Сплошное подозрение к новым технологиям уже показало себя плохо.

Ограничения предосторожности действительно имеют издержки, и они часто invisible. Каждый год, пока откладывается cure, умирают люди, которые могли бы жить. «Не навреди» не может значить «ничего не делай», потому что бездействие тоже выбор с body count. Любой серьёзный safety argument должен нести эту burden, а не отмахиваться от неё.

Концентрация власти действительно представляет риск. Режим управления, передающий контроль над ИИ небольшой картели действующих игроков или одному правительству, — это своя разновидность катастрофы, о чём мы сами пишем в материалах о ИИ-синглтон и демократический надзор. e/acc прав, что "просто регулировать это" может пойти очень плохо.

Где ломается аргумент

И всё же вывод не следует. Ошибка в трёх конкретных шагах, а не в оптимизме e/acc по поводу технологий в целом.

1. Оно трактует недоказанное утверждение как установленный факт

Несущая предпосылка состоит в том, что катастрофический риск ИИ «близок к нулю». Но это не вывод. Никто этого не доказал. Она противоречит взвешенному мнению самих исследователей, создавших современный ИИ, — Джеффри Хинтона, Йошуа Бенжио и сотен других, подписавших заявление 2023 года, поставивших риск вымирания в один ряд с пандемиями и ядерной войной. Когда центральное допущение движения прямо противоречит мнению пионеров самой области, называть это допущение «оптимизмом» — недооценивать происходящее. Это ставка, и акселерационист негласно предполагает ответ на единственный вопрос, от которого зависит весь аргумент. Мы рассматриваем реальный разброс экспертных оценок в нашем разборе P(doom).

2. "Учиться, строя" не работает для ошибок, которые нельзя пережить

Утверждение, что мы лучше всего понимаем технологии, строя их, верно почти для всего и совершенно неверно для той единственной категории, которая здесь важна. Итеративная разработка с извлечением уроков из неудач работает, когда неудачи переживaемы и обратимы. Вы выпускаете баговатое ПО, оно падает, вы его чините. Этот цикл — двигатель всего инженерного прогресса.

Это не работает, когда первая серьёзная неудача также является последней. Несогласованный суперинтеллект это не сбой, который можно исправить; это, по логике инструментальная конвергенция и предательский поворот, система, сопротивляющаяся исправлению и отключению. «Будем учиться по ходу дела» предполагает вторую попытку. В этой конкретной проблеме её может не быть. Наш довод в том, что утопическое преимущество, которого добивается e/acc, требует выравнивания, которого мы не умеем достигать, и что невыровненный сверхинтеллект не приносит изобилия, а просто завершает историю.

3. Это путает проблему координации с проблемой ценностей

e/acc представляет спор как противостояние оптимистов, любящих прогресс, и пессимистов, его боящихся. Но даже убеждённый оптимист сталкивается с динамика гонки: когда несколько лабораторий и стран соревнуются, чтобы первыми создать, у каждого появляется стимул срезать углы безопасности, потому что тот, кто замедлится, просто проиграет тому, кто не замедлится. В результате все движется быстрее, чем кто угодно считает разумным. Это не триумф оптимизма, а классический провал коллективных действий, когда результат не выбирает никто из участников. Ускорение эту ловушку не разрешает. Оно её углубляет. Единственное, что её разрешает, — координация, именно те жёсткие международные рамки, которым e/acc противятся.

Разногласие, точно сформулированное

Если убрать мемы, два лагеря расходятся в одном: порядок действий. e/acc говорит — строй сначала, а контроль и понимание придут следом за возможностями. Позиция безопасности говорит — сначала установи контроль, потому что для этой технологии цена ошибки в порядке действий неограниченна и необратима.

Чтобы придерживаться второй точки зрения, не обязательно быть пессимистом. Достаточно заметить асимметрию. Если правы accelerationists и мы всё равно введём управление, мы потеряем часть скорости и эффективности — реальные, но восполнимые издержки. Если accelerationists ошибаются и мы не введём управление, мы потеряем возможность направлять самую мощную вещь, которую когда-либо создавал наш вид, — и потеряем это навсегда. Перед такой асимметрией настаивать на безопасности в первую очередь — это самая базовая форма благоразумия, применённая к решению с самыми высокими ставками, которые мы когда-либо принимали, а не страх перед прогрессом.

Именно поэтому Nakada Foundation не выступает против ИИ и не выступает против хорошего будущего. Он выступает за то, чтобы построить тормоза до того, как машина наберёт полную скорость. Если вы хотите изобилия, которое обещают акселерационисты, вернейший способ его получить — убедиться, что мы доживём, чтобы им насладиться. Наш план это то, как «безопасность прежде всего» выглядит на практике.