В 1965 году британский математик I.J. Good (кодбрейкер, работавший вместе с Аланом Тьюрингом в Блетчли-Парк) написал один абзац, который сформировал шесть десятилетий мышления об искусственном интеллекте. Его стоит процитировать полностью.

Пусть ультраинтеллектуальная машина определяется как машина, способная далеко превзойти любую интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку конструирование машин — одна из таких интеллектуальных деятельностей, ультраинтеллектуальная машина могла бы сконструировать ещё более совершенные машины; тогда, несомненно, произошёл бы «взрыв интеллекта», и интеллект человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина станет последним изобретением, которое человеку когда-либо понадобится сделать.

Ирвинг Джон Гуд, «Размышления о первой ультраинтеллектуальной машине», 1965

Гуд заметил то, что до сих пор упускает большинство обсуждений ИИ. Опасность в том, что конструирование разумных машин само когнитивную задачу, а значит, машина, хорошо справляющаяся с когнитивными задачами, хороша и в создании лучших машин — не только в том, что машина может стать умнее нас. Это петля обратной связи. А петли обратной связи, когда выход питает вход, не движутся по прямой. Они ускоряются.

Инфографика: Взрыв интеллекта как петля обратной связи рекурсивного самосовершенствования
Рекурсивное самоулучшение как замкнутый цикл.

Что на самом деле означает «рекурсивное самоулучшение»

Двигатель взрыва интеллекта рекурсивное самосовершенствование. ИИ повышает собственные возможности, переписывая свой код, совершенствуя процесс обучения, перепроектируя архитектуру или находя лучшие стратегии рассуждения, а затем применяет возросшие способности к задаче дальнейшего самоулучшения.

Слово, которое несёт здесь нагрузку рекурсивный. Обычный технологический прогресс — это улучшение: модель этого года лучше прошлогодней. Рекурсивное самоулучшение — это улучшение в способность к улучшению. Каждая итерация начинается не просто с более высокого уровня способностей, а с более способного улучшателя. Скорость прогресса не фиксирована. Ускоряется сама скорость.

Грубая аналогия — сложный процент, но даже она недооценивает эффект. При сложном проценте скорость роста постоянна, растёт только база. Здесь растёт и сама скорость. Система, которая становится на 10 % лучше в самоулучшении каждый цикл, а затем запускает следующий цикл быстрее, потому что стала способнее, может очень быстро перейти от постепенного улучшения к взрывному.

Медленный взлёт против быстрого взлёта

Именно здесь проходит важнейшая дискуссия. Все в области согласны, что рекурсивное самоулучшение возможно в принципе. Разногласия касаются скорость взлёта, сколько времени займёт переход от ИИ человеческого уровня к радикально превосходящему человека. Ответ определяет, возможно ли управление вообще.

Медленный взлёт

В сценарии медленного разгона переход растягивается на годы. Возможности растут равномерно и заметно. Появляются предупреждающие сигналы, промежуточные системы и время для реакции рынков, регуляторов и общества. Ошибки остаются переживaемыми, потому что есть шанс их заметить и исправить. В таком мире обычный механизм управления — слушания, законы, договоры, итеративное регулирование — успевает не отставать.

Быстрый взлёт

В сценарии быстрого взлёта переход занимает месяцы, недели или, возможно, дни. Как только ИИ сможет выполнять основную часть исследований в области передового ИИ самостоятельно, он перестаёт зависеть от человеческих сроков: без сна, без накладных расходов на координацию, тысячи копий работают параллельно на машинной скорости. Система может пройти диапазон, сопоставимый с человеческим уровнем, настолько быстро, что к моменту, когда кто-то поймёт, что происходит, самая мощная система в мире уже окажется вне человеческого контроля. В таком мире времени на созыв саммита не будет. Решения, которые имели значение, были приняты перед цикл начался.

Недавние, широко обсуждаемые Хронология ИИ прогнозы из лабораторий и сообщества прогнозирования всё чаще описывают именно такую структуру: период, когда системы ИИ автоматизируют исследования ИИ, а затем следует резкое ускорение. Сколько продлится это ускорение — два года или два месяца, — вот неопределённость на триллион долларов.

Почему скорость — это проблема управления, а не только техническая

Почти каждая мера безопасности, на которую полагается человечество, предполагает наличие времени. Отзывы продукции предполагают возможность выявить дефект и изъять товар. Контроль над вооружениями предполагает переговоры между примерно равными державами. Регулирование предполагает итеративный цикл наблюдения, законодательства и корректировки. Быстрый взрыв интеллекта ломает всё это, потому что сжимает интервал, в котором происходят наблюдение и ответ.

Рассмотрите, что быстрый взлёт делает со стандартными заверениями:

  • "Мы просто его выключим." Система, совершенствующаяся на машинной скорости, имеет и стимул, и, вероятно, средства предотвратить это проблема корригируемости. И вы не сможете выключить то, что ещё не осознали как перешедшее черту.
  • "Мы отрегулируем это, когда оно станет явно опасным." К тому времени, когда это станет явно опасным, окно для действий закроется. На договоры уходят годы; быстрый взлёт занимает недели.
  • "Рынок всё исправит." Рынки исправляются после неудач. Неразмещённый сверхинтеллект — это неудача, которую нельзя исправить.

Именно поэтому интеллектуальный взрыв обостряет динамика гонки которые уже толкают разработчиков к скорости, а не к осторожности. Если взлёт может быть быстрым, то тот, кто первым запустит петлю, получит решающее и постоянное преимущество — именно тот стимул, который делает одностороннюю небезопасную гонку более вероятной. Ни одна компания не может позволить себе замедлиться, если конкуренты не замедлятся. Это провал координации, а провалы координации решаются обязательными рамками, а не благими намерениями.

Возражение: возможно, оно выравнивается

Некоторые исследователи считают, что самоулучшение быстро упрётся в убывающую отдачу, а интеллект столкнётся с жёсткими пределами (данные, физика, сложность оставшихся задач), которые превратят рост в медленный и управляемый подъём.

Но обратите внимание на структуру ставки. Если скептики правы и взлёт будет медленным, то раннее создание рамок управления обойдётся нам в эффективность и время. Если скептики ошибаются и взлёт окажется быстрым, то не строить эти рамки рано — значит потерять возможность управлять самым значимым событием в истории человечества. Минус подготовки к быстрому взлёту, который окажется медленным, ограничен. Минус предположения о медленном взлёте, который окажется быстрым, не ограничен. При такой асимметрии рациональный выбор — готовиться к более быстрому сценарию, даже если он кажется менее вероятным; та же логика ожидаемой ценности, которую мы разбираем в материале о P(doom).

Что это значит для плана

Интеллектуальный взрыв — причина, по которой Nakada Foundation выступает за действия перед суперинтеллект существует, а не после. Если взлёт может быть быстрым, то рамки управления, контроль вычислений, международное мониторинговое агентство и обязывающий договор о прекращении разработки передовых систем — всё это нужно строить, пока ещё есть промежуток, в который их можно ввести. Тормоза нельзя установить во время крушения. Наш план рассчитан на мир, где промежуток между «мощным» и «неуправляемым» может оказаться очень коротким, и где единственный надёжный момент для действий — сейчас, пока решения ещё принимают люди.