В физике сингулярность — это точка, где величина уходит в бесконечность и уравнения, которыми вы пользовались, перестают давать осмысленные ответы. Обычно пример — центр чёрной дыры. Если заимствовать слово для технологий, получится технологическая сингулярность: гипотетическая точка, в которой машинный интеллект вызывает изменения настолько быстро и глубоко, что наша способность предсказывать или даже понимать, что будет дальше, ломается.

Это утверждение о горизонте, за которым темп прогресса, движимого интеллектом, обгоняет человеческое понимание, а не о том, что конкретное устройство вот-вот появится.

Откуда берётся идея

Линия развития термина стоит знать, потому что его часто употребляют неточно. Математика Джона фон Неймана в 1950-х годах пересказывали так, что технологический прогресс приближается к некоей сущностной сингулярности в истории. В 1965 году И. Дж. Гуд описал взрыв интеллекта, механизм, на котором основаны большинство версий сингулярности. Писатель-фантаст и математик Вернор Виндж дал современной идее имя и силу в эссе 1993 года, утверждая, что создание интеллекта, превосходящего человеческий, разорвёт ткань предсказуемой истории. Изобретатель Рей Курцвейл затем популяризировал её для широкой аудитории, помещая сингулярность примерно в 2045 год и вплетая в более широкую историю экспоненциальных технологических трендов.

Это разные утверждения, скрытые под одним словом, и именно поэтому сингулярность привлекает одновременно и фанатичную преданность, и скептические ухмылки.

Движущая сила внизу

Если убрать все оттенки, основной механизм прост. Если можно создать машину, которая лучше людей строит машины, в том числе улучшает собственный интеллект, то улучшение начинает питать само себя. Каждая более умная система лучше создаёт следующую, и темп прогресса растёт, а не остаётся постоянным. Запустите этот цикл — и способности могут подняться от человеческого уровня до далеко превосходящего за очень короткое время.

Взрыв интеллекта — это реальное содержание большинства серьёзных упоминаний сингулярности. Из него следует и прогноз непредсказуемости: когда системы начнут улучшать себя на машинной скорости, траектория выйдет за пределы, где работает человеческое прогнозирование. Этот механизм мы разбираем полностью в собственное объяснение, и именно там находится суть.

Критика

  • Самоулучшение может упереться в жёсткие пределы. Интеллект может столкнуться с убывающей отдачей, нехваткой данных или физическими ограничениями, которые превратят кривую в плавный подъём, а не во взрыв.
  • Понятие размыто. Разные сторонники вкладывают в него разный смысл, а более грандиозные версии в духе Курцвейла сочетают уверенные прогнозы дат с почти мистическим тоном, вызывающим скепсис.
  • Экспоненциальные тренды изгибаются. Кривые, которые выглядят взрывными, часто оказываются ранней частью S-образной формы, которая выходит на плато.

Эти соображения разумны, и ни одно из них не требует, чтобы сингулярность оказалась ложной, — достаточно, чтобы она была неопределённой. Ошибка в том, чтобы сомнение в драматическом, названном событии принимать за растворение лежащего в его основе риска.

Почему ярлык имеет меньшее значение, чем механизм

Можно полностью отвергнуть слово «сингулярность» с его привкусом пророчества и точными датами и всё равно остаться с тем, что важно для политики. Серьёзный вопрос — сможет ли машинный интеллект улучшаться достаточно быстро, чтобы переход к системам, далеко превосходящим нас, произошёл быстрее, чем мы успеем контролировать или управлять им, а не существует ли мистический момент в 2045 году. Это утверждение о сроки и скорость взлёта, и для тревоги не нужно грандиозного обрамления.

Можете опустить слово, если хотите. Проблема, на которую оно указывает, — слишком быстрый для управления переход, — не нуждается в этом слове, чтобы быть реальной.

Фонд беспокоит именно эта, конкретная, заниженная версия. Если приближение к сильно превосходящему человека ИИ может быть быстрым, то единственное надёжное время для создания управления и сохранения контроля — до его начала, пока решения всё ещё принимают люди конкурентное давление первым достичь этого порога — значит лишь укоротить взлётную полосу. Называйте ли вы ту сторону сингулярностью, ответ один и тот же, и это наш план.

Сингулярность никогда не должна произойти

Позиция Фонда — запрет, а не прогноз. Суперинтеллект не поддаётся контролю со стороны людей. Горизонт, который обозначает это слово, — это взлёт за пределы точки, где мы ещё принимаем решения. Это то же самое пересечение, что и создание суперинтеллекта. Сингулярность никогда не должна произойти.