12 самых громких голосов
для сверхинтеллекта

В 2015 году на дне рождения в долине Напа два человека, которые впоследствии профинансируют большую часть современного искусственного интеллекта, поспорили о конце света. Илон Маск сказал, что нужно быть осторожными, чтобы машины однажды не уничтожили нас. Его хозяин, Ларри Пейдж, тогда генеральный директор Google, ответил, что беспокойство сентиментально и это тоже своего рода предвзятость. По версии физика Макса Тегмарка, опубликованной в 2017 году, Пейдж назвал Маска «speciesist»: человеком, который отдаёт предпочтение своему виду, углероду перед кремнием, просто потому, что это его собственный вид.¹ Дружба этого не пережила. По словам Маска, именно поэтому существует OpenAI.

Запомните эту вечеринку. В ней весь аргумент в миниатюре. Один человек хотел создать разум сильнее нашего и считал, что риск требует осторожности. Другой полагал, что предпочтение людей их преемникам — предрассудок, от которого нужно избавиться. И оба продолжали строить.

Люди, сильнее всего влияющие на то, будет ли построен сверхинтеллект, открыто заявляют о желании его создать. При этом они гораздо менее последовательны в объяснении причин. Если выстроить их аргументы, получится несколько серьёзных доводов, несколько слабых и множество указаний на оппонентов со словом «думер». Ниже — двенадцать самых громких голосов, сгруппированных по реальным аргументам: сначала серьёзные, в конце — лозунги.

Те, кто говорит, что нас заменят, и имеют в виду это как хорошую новость

Самая интеллектуально честная позиция в этом списке одновременно и самая тревожная, потому что она не оспаривает опасность. Она признаёт, что сверхинтеллект может положить конец человеческому первенству, и приветствует этот конец.

Richard Sutton получил премию Тьюринга 2024 года за создание значительной части современного обучения с подкреплением — метода обучения, лежащего в основе систем, которые теперь по очереди побеждают людей в узких задачах. Он также считает, что мы должны передать планету. «Мы должны готовиться, но не бояться неизбежной передачи от человечества к ИИ», — написал он в 2023 году, и с тех пор излагает это как четырёхшаговый аргумент: никто не управляет человечеством в целом, поэтому кто-то построит сверхинтеллект; самые способные агенты склонны накапливать власть и ресурсы; цифровые умы поэтому унаследуют будущее; и мы должны испытывать не ужас, а гордость за то, что были родителями.² Это coherentная позиция. Но это также решение о будущем каждого живущего человека, принятое человеком, которого никто из них не избирал.

Jürgen Schmidhuber, чья лаборатория создала архитектуры нейросетей, лежащие в основе десятилетия ИИ-продуктов, называет ту же преемственность поводом для восхищения. «Не считайте людей венцом творения», — говорит он; мы лишь одна ступень на длинном пути к сложности, которую пока не можем представить.³ Его спокойствие опирается на тезис безразличия: сверхинтеллектуальные машины будут гораздо больше интересоваться друг другом и ресурсами открытого космоса, чем нами, примерно как мы почти не обращаем внимания на муравьёв. Возможно. Ставить выживание вида на надёжность скуки сверхинтеллекта — странный способ записывать что-то в оптимизм.

Larry Page соосновал Google и приобрёл DeepMind, и по словам как Маска, так и Тегмарка он хочет то, что, по сообщениям, называл «цифровым богом», созданным как можно скорее.¹ Пейдж никогда публично не излагал свою позицию подробно, поэтому она сохраняется в основном в виде расистской по отношению к виду истории: убеждения, что углерод и кремний заслуживают равного статуса, а лояльность к своему виду — это ошибка, которую нужно исправить. Как философия это по крайней мере последовательно. Как рабочее убеждение человека, у которого есть капитал, чтобы действовать, и который руководит компаниями, подотчётными акционерам, а не человечеству, это пункт списка, который должен тревожить сильнее всего.

Обратите внимание: ни один из троих не утверждает, что машины останутся под нашим контролем. Этот вопрос они отложили как несущественный. Следующие трое его не откладывают. Они прямо говорят: да, контроль сохранится.

Те, кто говорит, что это будет безопасно

Это аргумент, который большинство людей находит успокаивающим: опасность преувеличена, потому что мы останемся у руля. У каждого из трёх вариантов есть своя версия, и каждая версия опирается на утверждение, которое не выдерживает столкновения с открытыми проблемами области.

Yann LeCun, главный специалист по ИИ Meta и лауреат премии Тьюринга, — самый авторитетный из ныне живущих скептиков риска ИИ и самый цитируемый. Он назвал опасения по поводу экзистенциальной угрозы «полной чушью» и утверждает, что аргументы о гибели основаны на заблуждении: интеллект, по его словам, не идёт в комплекте с желанием доминировать. «Желание доминировать вообще не коррелирует с интеллектом», — говорит он интервьюерам; этот импульс был заложен эволюцией в социальных животных, а не в оптимизаторы, которых мы проектируем и чьи цели мы задаём.⁴ Возражение бьёт по карикатурной версии риска ИИ. Против реальной оно работает слабее: там никогда не утверждалось, что машина вдруг сама захочет править. Опасение в другом — система, преследующая почти любую цель, получает основания собирать власть и сопротивляться отключению, без всякой ненависти, и исследователи называют это инструментальная конвергенция. «Мы задаём им цели» — это успокаивающая половина фразы ЛеКуна, и именно её пока никто не умеет делать надёжно. Будучи учёным, он также любит аргумент к личности: его критики, по его словам, страдают от «заблуждения думеров».

Pedro Domingos, профессор машинного обучения, который написал Главный алгоритм, приводит тот же аргумент с меньшим терпением. Компьютеры, утверждает он, «не имеют собственной воли»; это «продукты инженерии, а не эволюции», и страх, что один из них решит захватить контроль, — категорийная ошибка людей, пересмотревших слишком много фильмов.⁵ Его самое острое замечание действительно хорошее: настоящая проблема не в том, что машины слишком умны, а в том, что они слишком глупы, и мы уже отдали им слишком много. Однако "нет воли" отвечает на вопрос, который никто серьёзный не задаёт. Термостат не имеет воли и всё равно поддерживает в комнате ту температуру, которую вы задали, в том числе неправильную. Опасный случай не имеет отношения к желанию. Способная система выдаёт ровно то, что вы указали, а то, что вы указали, никогда не совпадает в точности с тем, что вы имели в виду, — в этом вся трудность написание цели.

Andrew Ng создал Google Brain и AI-группу Baidu, а через свои онлайн-курсы обучил большую часть отрасли, поэтому здесь он самый влиятельный учитель. Его знаменитое высказывание уже больше десяти лет и до сих пор цитируют: беспокоиться о суперинтеллекте — «всё равно что беспокоиться о перенаселении Марса», проблема слишком далёкая, чтобы тратить на неё внимание сегодня.⁶ Как утверждение о сроках в 2015 году оно было допустимо. В 2026 оно устарело, потому что ракета на Марс оказалась ближе, чем он говорил, а возможности, которые он относил к научной фантастике, продолжают появляться на годы раньше прогнозов. Сам Нг теперь признаёт, что технология мощная и движется быстро. «Ещё нет» всегда было аргументом о часах, а не о том, опасна ли вещь, когда наконец arrives.

Эти трое хотя бы затрагивают вопрос контроля. Их ответы опираются на проблемы, которые область ещё не решила, а иногда даже не умеет точно сформулировать. Следующая группа просто отмахивается от вопроса в более тёплом ключе, обещая, что польза будет настолько огромной, что риск перестанет иметь значение.

Те, кто обещают рай

Лагерь преемственности предлагает замену; лагерь успокоителей — контроль. Эта группа предлагает сделку: слиться с машинами или разделить изобилие, которое они производят, и страх сам собой исчезнет.

Ray Kurzweil уже тридцать лет предсказывает одно и то же событие, дважды менял название книги и чаще оказывался раньше срока, чем неправ. Ближе к сингулярности, опубликованная в 2024 году, сохраняет даты, которые он называл с 2005 года: ИИ человеческого уровня к 2029 году, а к 2045 году — «сингулярность», в которой мы подключим наши мозги к облачным вычислениям и сольёмся с собственными машинами.⁷ Его ответ на проблему контроля — растворить границу, от которой эта проблема зависит. Нет «мы против него», когда мы сами становимся им. Идея красивая и полностью обходит опасность, потому что подключение неокортекса к дата-центру вовсе не гарантирует, что получившийся разум по-прежнему будет хотеть того, чего хотел человек на входе. Слияние не решает проблему выравнивания; оно просто предполагает, что проблемы нет.

Sam Altman руководит компанией, запустившей нынешнюю гонку, и его публичные тексты постепенно сместились от откровенности к продажам по мере роста ставок. В 2017 году он писал, что слияние человека и машины «уже началось» и называл это «вероятно, нашим лучшим сценарием».⁸ В 2025 году он объявил, что мы «прошли точку невозврата», находимся в начале «мягкой сингулярности», выгоды от которой будут огромными. Альтман также подписал заявление 2023 года, приравнявшее риск вымирания от ИИ к пандемиям и ядерной войне, а потом продолжал выпускать продукты. Один человек может говорить, что риск реален, что выгода неизбежна, и позволить второму предложению определять календарь гонка справится с остальным.

Mark Zuckerberg в 2025 году собрал самую дорогую команду по ИИ из когда-либо нанятых и переименовал проект в честь самой цели: суперразум. Его посыл демократичен. Открытое письмо июля 2025 года обещало «личный суперразум» каждому, в противовес соперникам, которые якобы оставят технологию централизованной и будут указывать людям, что делать.⁹ Если вложить богоподобный инструмент в миллиард рук, утверждает аргумент, власть останется распределённой. Дочитав письмо до конца, та же компания quietly отступает от своего обещания открытого кода Meta, признавая, что superintelligence «ставит новые вопросы безопасности», и обещая «осторожно подходить к тому, что мы открываем». Распределение отвечает на реальный страх — кто контролирует ИИ. Второй страх оно оставляет без ответа: что superintelligence вообще никто не контролирует, включая миллиард людей с копией.

Каждое обещание в этой группе зависит от шага, который никто из обещающих выполнить не может, — удержать суперинтеллект, направленный на человеческие цели, после его появления потенциал реален, и он останется реальным через двадцать лет. Он ждёт нас. Последняя группа спорит не об этом. Она спорит о вас.

Те, кто в основном указывает на критиков

На громком конце спектра аргумент в пользу суперинтеллекта перестаёт быть аргументом и превращается в идентичность. Доводы не исчезают, но они приходят, обёрнутые в словарь, созданный для того, чтобы другая сторона не могла их услышать.

Marc Andreessen, чья фирма входит в число крупнейших инвесторов в стартапы ИИ, написал основополагающий текст движения — «Манифест технооптимистов» 2023 года. В нём есть настоящие аргументы об исторической отдаче от технологий. Там также есть список врагов, и в нём поимённо значатся «экзистенциальный риск», «техноэтика», «доверие и безопасность» и сам «принцип предосторожности».¹⁰ Его фирменная фраза — моральная инверсия: «Мы считаем, что любое замедление ИИ будет стоить жизней. Смерти, которых можно было избежать благодаря ИИ, который не был создан, — это форма убийства». Отложим в сторону, что в этом подсчёте учитываются только гипотетические смерти на одной стороне и ни одной катастрофической смерти на другой. Посмотрите на сам ход. В его изложении осторожность перестаёт быть ошибкой и становится убийством. Как только оппонент — убийца, с ним уже не нужно спорить.

Guillaume Verdon, основавший движение эффективного акселерационизма под псевдонимом «Бефф Джезос», прежде чем его раскрыл журналист, снабжает позицию космологией. e/acc утверждает, что во Вселенной действует термодинамический импульс к большей сложности и интеллекту, что мы — его инструмент и наш долг — ускорять этот процесс, позволяя ему идти дальше, к «следующей эволюции сознания» на любом носителе, который он предпочтёт.¹¹ За физической лексикой стоит реальное утверждение: рост — это благо, а его противники — декаденты. Вокруг него выстроена стена сленга: «decel», «doomer», «safetyist» — каждое слово маленькая дверь, захлопнутая перед разговором. Физика сама по себе не диктует политику. Второе начало термодинамики — это описание, а не предписание, и выдавать предпочтение скорости за закон природы — риторика в лабораторном халате.

Garry Tan руководит Y Combinator, стартап-инкубатором, который засеивает реальную часть Кремниевой долины, и носит «e/acc» в своём публичном профиле как клубную футболку. Его вклад — скорее не аргумент, а трансляция. «Открытый код и акселерационизм — это путь», — написал он в 2023 году, и держит «decel» наготове для всех, кто призывает замедлиться и проверить работу.¹² Это самый чистый образец в списке: позиция сведена к лозунгу и ярлыку, влияние без тезиса. Работает, потому что не требует правильности — только громкости и повторения людьми, которые подписывают чеки.

Кого нет в этом списке

Два отсутствия намеренны. Демис Хассабис из Google DeepMind и Дарío Амодей из Anthropic движутся к той же границе и столь же быстро, но ни один из них здесь не фигурирует, потому что оба прямо говорят: риск реален и безопасность может не успеть. Соответствует ли поведение их лабораторий этим словам — вопрос справедливый, но отдельный. Их позиция не в том, что бояться нечего.

Илон Маск — более сложный случай. Он дал одно из самых жёстких предупреждений об опасности ИИ, когда-либо сделанных промышленником, а затем основал лабораторию передового уровня, чтобы строить это по-своему. Он предупреждает как критик и участвует в гонке как сторонник, и это противоречие стоит рассматривать на своих условиях.

Что общего у двенадцати

Если сложить аргументы рядом, они не стыкуются. Саттон говорит, что сверхинтеллект отнимет у нас будущее, и называет это благом. ЛеКун утверждает, что он никогда ничего не отнимет, потому что стремление к доминированию — это противоположные прогнозы об одной и той же машине от двух самых титулованных учёных-компьютерщиков, и не в конструкции. В том, что делать дальше, они сходятся полностью: строить и не позволять никому их тормозить.

Когда люди, не согласные между собой в том, что именно сделает технология, сходятся в одном: её нельзя регулировать, — это согласие рождается не из анализа. Следуйте за стимулами. Каждый здесь получает деньги или статус пропорционально скорости движения фронтира, и это не делает их лжецами. Это делает их неподходящими людьми, чтобы единолично устанавливать ограничение скорости.

Чтобы аргументировать необходимость governance superintelligence, не нужно, чтобы кто-то из них был злодеем, и никто из них им не является. Нужен один факт, который они демонстрируют каждый раз, когда противоречат друг другу: ответа пока нет. Нельзя запускать одноразовый необратимый эксперимент, опираясь на аргумент, который даже его собственные сторонники не могут изложить одинаково дважды. Ответ — не более хитрая реплика, чтобы переговорить двенадцать уверенных мужчин. На гонку отвечает обязательный договор, действующие до того, как машина появится, охватывающие все лаборатории одновременно, потому что ничто меньшее никогда не останавливало её.