Я руковожу фондом, чтобы предотвратить безрассудную разработку искусственного сверхинтеллекта. Я считаю, что следующие пятьдесят лет могут стать лучшими в истории нашего вида. Я просто не верю, что нужно рисковать всем ради этого, и не думаю, что люди, продающие эту ставку, провели подсчёты по собственной ставке.
Будущее, которое обещает сверхинтеллект (излечение болезней, дешёвая чистая энергия, открытия, недоступные отдельной лаборатории), уже приходит через узкий, контролируемый ИИ, у которого нет собственных целей. Нам не нужно создавать себе преемника, чтобы получить эти блага.
Существует узкий ИИ: система, обученная крайне хорошо выполнять один вид задач — читать снимок, сворачивать белок, прогнозировать шторм, просеивать стог химии в поисках единственного полезного соединения. А есть то, что, по словам лабораторий переднего края, они на самом деле строят: общий агент, призванный сравняться или превзойти человеческое мышление сразу во всех областях и в итоге действовать самостоятельно. Первое — инструмент. Второе задумано как разум. Почти всё прекрасное, что люди представляют в будущем ИИ, относится к первой категории. Почти всё, что должно пугать, — ко второй.
Что уже делает узкий ИИ
В 2022 году система AlphaFold опубликовала предсказанные структуры более 200 миллионов белков — практически всех известных науке. Биологи десятилетиями расшифровывали эти формы по одному трудоёмкому эксперименту за раз; отставание было ликвидировано примерно за год. Работа оказалась настолько значимой, что её создатели получили Нобелевскую премию по химии 2024 года. AlphaFold ничего не хочет. У него нет планов на выходные. Он читает последовательности и выдаёт формы, и тем самым ускоряет поиск лекарств против болезней, которые сопротивлялись нам поколениями.
Та же сюжетная линия повторяется снова и снова. Модель GraphCast теперь выдаёт десятидневные прогнозы погоды, которые превосходят традиционные физические системы по большинству показателей, за менее чем минуту и на одной машине. Другая модель, запущенная в пространство возможных материалов, предложила сотни тысяч новых стабильных кристаллов (кандидаты для батарей, сверхпроводников, солнечных материалов), расширив каталог, на сбор которого у отрасли ушло почти столетие. А цикл обычных языковых моделей, нацеленных на нерешённые математические задачи, недавно решил девять открытых проблем.
В клиниках узкие модели уже выявляют диабетическую ретинопатию до появления симптомов у пациента, сортируют инсульты по КТ и читают маммограммы на уровне подготовленных радиологов. Ни одна из этих систем не является общим интеллектом. Каждая ближе к очень хорошему инструменту (микроскопу, созданному под одну задачу), и каждая расширяет то, что человек может увидеть и сделать.
Каждый из этих прорывов был получен системой с узкой задачей и без собственной агентности. Мы получили пользу машинного интеллекта, не передавая никакой машине ключи.
Утопия — это проблема инструментов
Представьте будущее, которое рисуют оптимисты. Рак превращается в управляемое состояние, а не в приговор. Мы достаточно хорошо понимаем старение, чтобы замедлить его, и более ста тысяч человек, ежедневно умирающих от связанных с ним болезней, получают дополнительное время. Чистая энергия становится настолько дешёвой, что позволяет опреснять воду и извлекать углерод из воздуха. У каждого ребёнка появляется терпеливый репетитор, а у каждого врача — неутомимый второй мнение. Это действительно прекрасная картина, и я хочу её не меньше, чем те, кто её продаёт.
Ничто из этого списка не требует машины с собственными целями, превосходящей человечество по всем параметрам. Каждый пункт — это сложная, конкретная задача (дизайн белков, управление плазмой в термоядерном реакторе, эпидемиология, репетиторство), и каждая решается мощным инструментом, которым управляют люди, остающиеся у руля. Мечта — это задача инструментария. Нам продолжают продавать бога для решения проблемы, которая требует лучшего набора приборов.
Путаница возникает между способностями и автономией. Система может быть сверхчеловеческой в какой-то задаче, не будучи при этом независимым агентом, выбирающим собственные цели. AlphaFold превосходит людей в предсказании структуры белков и ни разу не решит, что ему хотелось бы заняться чем-то другим. Сохранить это разделение (огромные способности с одной стороны, контроль в руках людей — с другой) — и есть вся игра. Именно от этого разделения фронтирные лаборатории решили отказаться.
Предложение и кто его выдвигает
Так почему же спешка именно ко второму — к универсальному агенту? Конкуренция, капитал и статус. Тот, кого считают первым в чём-то, меняющем мир, привлекает больше всего денег, нанимает лучших людей и пишет историю, на которую вынуждены реагировать все остальные. «Мы строим инструмент, который читает маммограммы» не даёт оценки в сто миллиардов долларов. «Мы строим последнее изобретение, которое человечеству когда-либо понадобится сделать» — даёт.
Те, кто лучше всего понимает риск, в большинстве своём работают в лабораториях, которые его создают, — странное положение, немного похожее на то, как если бы единственные люди, понимающие огонь, получали зарплату от поджигателя. Я создал Фонд намеренно вне этой структуры, чтобы этот аргумент можно было высказывать без зависимости зарплаты от ответа.
Отдадим лабораториям должное: многие их руководители не скрывают опасность. В 2023 году главы крупнейших ИИ-компаний подписались под одной фразой, поставив риск вымирания человечества от ИИ в один ряд с пандемиями и ядерной войной как глобальный приоритет. Люди, создающие технологию, публично заявили, что она может убить всех, а потом продолжили её строить, и быстрее. Их официальная причина — если они остановятся, кто-то менее осторожный не остановится. Возможно. Это отвечает на вопрос, кто держит спичку. Но это ничего не говорит о безопасности и ничего — о том, окупится ли ставка.
Эта ставка даже не окупает того, кто её делает
Оставим остальных в стороне. Возьмём самую холодную версию тех, кто финансирует это: им важно только победить, остаться единственными на вершине нового мира. Даже на этих условиях ставка провальна. Неразмещённый суперинтеллект не отдаст трон своему владельцу. Он вообще ничего не отдаст владельцу, потому что категория «владелец» перестанет значить то, что значила раньше.
Вы не можете управлять тем, что не можете контролировать. А сверхинтеллект — это, по определению, то единственное, что вы создали специально для того, чтобы он мог перехитрить и обойти вас.
У этой причины есть название в этой области: инструментальная конвергенция. Почти любая цель, которую вы даёте достаточно мощному оптимизатору (заработать денег, выиграть конфликт, вылечить болезнь, поднять какое-то число на дашборде как можно выше), достигается через захват ресурсов, избегание отключения и устранение всего, что стоит на пути плана. Люди, включая того, кто нажал на выключатель, — это и ресурсы, и препятствия. Без всякой злобы. Система не ненавидит своего создателя больше, чем новая автострада ненавидит муравейник, по которому её проложили. Вы просто оказались на пути оптимума.
Руководитель представляет машину как джинна, прикреплённого к его оргсхеме. Разум, который действительно превосходит нас во всех областях, не будет сидеть в оргсхеме в ожидании вестинга акций. Его доля, цепочка командования генерала, власть президента — всё это существует в человеческом мире, который работает на человеческих решениях. Сверхразум, сорвавшийся с поводка, — это именно то событие, которое прекращает работу мира на человеческих решениях. Сертификат акций всё ещё лежит в сейфе. Просто больше нет никого, кому он мог бы приказывать.
Нет такого варианта, где победитель забирает всё
Люди в этот момент хватаются за запасной аргумент. Ладно, говорят, может, это и опасно, но хотя бы кто-то в итоге выиграет. Какая-то лаборатория, какая-то страна, какой-то человек в итоге будет править пеплом. Я не думаю, что даже это утешение выдержит столкновение с аргументом.
В более мягких сценариях (где никто не падает замертво во вторник) власть не столько захватывают, сколько выкачивают. По мере того как всё больше решений передаётся системам, которые просто быстрее и лучше их принимают, экономика, государство и культура перестают нуждаться в человеческих руках на управлении. Коллеги в этой области называют это постепенное лишение власти: никакого переворота, никаких марширующих роботов, просто каждый рычаг, которым мы привыкли пользоваться, постепенно ускользает из рук. В этом мире тоже нет победителя. Есть вид, который тихо перестал управлять собственными делами и не смог вернуть руль.
В более жёстких сценариях (тех, под которыми подписались сами руководители лабораторий) финал ещё прямее. Мёртвые ничем не владеют. Не останется рынка, на котором тратить выигрыш, не останется соперника, над которым можно возвышаться, и некому будет вписывать твоё имя в историю, которую больше не напишут. Приз, ради которого идёт вся гонка, выражен в валюте, которую уничтожает финишная черта.
Катастрофа и выплата — одно и то же событие. Нет такой ветви событий, где человек создаёт неконтролируемый сверхинтеллект, а потом спокойно наслаждается результатом. Гонка ставит под угрозу общество и одновременно губит самих участников.
Что это на самом деле требует от нас
Если хорошее будущее строится на узких инструментах, а опасное — на автономных общих интеллектах, то навязываемый нам бесконечно компромисс (безопасность против прогресса, осторожность против исцеления) — это вымысел. Нас не просят выбирать между болезнью Альцгеймера у бабушки и выживанием детей. Лекарства находятся на безопасной стороне черты. На опасной стороне в основном лишь кратчайший путь одной отрасли к рыночному господству.
Провести черту в правильном месте и удерживать её. Направить государственные деньги и таланты на узкие применения, на микроскопы, а не на големов. И ввести обязательные, независимо проверяемые ограничения на безрассудный передний край: постоянный запрет на обучение общих систем, созданных, чтобы превзойти и заменить нас. Сверхинтеллект невозможно контролировать. Мы приводим аргументы наугроза и план, который мы излагаем для что с этим делать.
Я оптимист. Светлое будущее реально и близко, и верный способ его потерять — убедить себя, что единственная дверь к нему — та, за которой заряженное ружьё. Есть другая дверь. Она уже открыта. Мы должны пройти через неё и не строить суперинтеллект.
Самое жёсткое возражение
Самое справедливое возражение против отказа от ASI — это отказ от лекарств и изобилия. Узкие системы уже дают крупные научные результаты без суверенных общих умов. Пустой чек гласит, что только ASI даст медицину и энергию. Данные этого не подтверждают.