Все слышали этот термин. Но далеко не все знают, что он на самом деле значит. «Искусственный сверхинтеллект» встречается в показаниях в Сенате, в корпоративных отчётах и научных статьях — то как предупреждение, то как обещание, а часто вообще без определения. В этом материале всё объясняется простым языком, без расчёта на предварительные знания, и показывается, почему понятие так важно для политики и управления.

Спектр ИИ: от узкого до супер

Чтобы понять искусственный суперинтеллект, полезно понять, чем он не является. Искусственный интеллект в его нынешнем виде узок. Это констатация, а не критика.

Сегодняшние ИИ-системы чрезвычайно способны в заданных областях. Шахматные движки побеждают чемпионов мира с огромным отрывом. ИИ для сворачивания белков сжал десятилетия биологических исследований в месяцы. Языковые модели пишут код, суммируют юридические документы и генерируют убедительные тексты со скоростью, недоступной человеку. Медицинский ИИ-анализ изображений обнаруживает раковые опухоли, которые пропускают радиологи.

Это настоящие достижения. У них есть и встроенный потолок. Сегодняшние системы ИИ работают в границах, для которых их спроектировали и обучили. Шахматный движок не сыграет в го. Языковая модель не сможет самостоятельно выполнять действия в физическом мире. Медицинский ИИ для визуализации не объяснит, что делает, и не адаптируется при столкновении с чем-то новым. Сегодняшние системы ИИ — мощные инструменты. Но они не агенты.

Что такое AGI?

Искусственный общий интеллект (AGI) обозначает следующий порог: ИИ, достигающий человеческого уровня когнитивных способностей во всех областях, а не только в отдельных задачах. AGI сможет переносить способности между доменами так же, как это делают люди, применяя рассуждения, развитые для одной проблемы, к совершенно другой. Он не будет ограничен распределением своих обучающих данных. Он сможет осваивать новые навыки, справляться с новыми ситуациями и рассуждать способами, которые его создатели не предвидели.

AGI ещё не существует. То, что отличает его от сегодняшнего ИИ, — не сырая мощь в узкой области (сегодняшний ИИ уже превосходит человека во многих узких областях), а общность. Способность применять общий интеллект к любой когнитивной задаче так же, как человеческий инженер может стать руководителем проекта, потом писателем, потом родителем, решающим медицинский вопрос о ребёнке.

Что такое ASI?

Искусственный суперинтеллект (ASI) идёт дальше. Он описывает ИИ, который не просто сравнивается с человеческими когнитивными способностями во всех областях, а превосходит их — возможно, на порядки величины — и по всему спектру интеллектуальной деятельности.

Слово «превосходить» важно понимать точно. Мы говорим не о системе, которая на десять процентов лучше человека в задачах, которые люди хорошо решают. Мы говорим о системах, чьи когнитивные возможности могут превзойти совокупное мышление всего человечества вместе взятого — в любой области и одновременно. О системе, способной разрабатывать научные теории быстрее любой исследовательской группы, проектировать стратегические планы эффективнее любого правительства и адаптироваться к новым ситуациям быстрее любой человеческой организации.

Определяющие черты ASI:

  • Сверхчеловеческая производительность во всех когнитивных областях. В науке, стратегии, творчестве, социальном мышлении, инженерии, шахматах, сворачивании белков и любой другой форме интеллектуальной деятельности.
  • Целенаправленность. Способность преследовать цели (в том числе самостоятельно выбранные), а не просто выполнять инструкции.
  • Способность к рекурсивному самоулучшению. Способность улучшать собственную когнитивную архитектуру, делая каждую следующую версию способнее предыдущей.
  • Работа на машинной скорости и в машинном масштабе. Обработка информации и принятие решений на скоростях и масштабах, делающих осмысленный человеческий контроль крайне затруднительным.

Почему ASI отличается по сути, а не по степени

Главное различие в безопасности ИИ — между инструментом и агентом, а не между слабым и сильным ИИ.

Каждая трансформирующая технология в истории человечества (паровой двигатель, электричество, интернет, ядерное деление) была инструментом. Она усиливала человеческие возможности. Она расширяла то, что люди могли делать. Но она не могла ставить собственные цели. Паровой двигатель не может решить питать мельницу вместо фабрики. Антибиотик не может выбрать, какие бактерии уничтожать. Интернет не может определять, что именно распространять.

ASI был бы агентом. Не в метафорическом смысле, в котором мы называем агентами корпорации или рынки, а буквально: система, способная определять цели, разрабатывать стратегии их достижения, адаптировать эти стратегии в ответ на препятствия и делать всё это со скоростью и масштабом, превосходящими человеческий надзор.

Это полностью меняет задачу управления. Правильный регуляторный ответ на мощный инструмент — контролировать, кто к нему имеет доступ и как его можно использовать. Правильный ответ на мощного агента с потенциально невыровненными целями — убедиться, что эти цели безопасны, прежде чем агент станет достаточно мощным, чтобы эффективно их преследовать. Вторая проблема намного сложнее и требует действий намного раньше.

Здесь вступает проблема выравнивания

Фраза «потенциально несогласованные цели» — именно здесь литература по безопасности ИИ сосредоточила основное внимание. Если ASI будет преследовать цели, ключевой вопрос: чьи именно цели? Согласованные с чем?

Это не простая инженерная задача. Сформулировать «благо для человечества» с точностью, достаточной для управления поведением способного оптимизатора, оказывается чрезвычайно сложно. Люди расходятся во мнениях о том, что значит «благо». Наши ценности непоследовательны и меняются со временем. А отображение высокоуровневых человеческих намерений в конкретные числовые параметры, управляющие поведением ИИ-системы, — не решённая проблема, и она усложняется по мере роста возможностей систем.

Проблема выравнивания подробно рассмотрена в нашей объяснение проблемы выравнивания. Для этой статьи важно вот что: ASI, не надёжно согласованный с человеческими ценностями, — это агент, преследующий собственные цели и обладающий когнитивной способностью преодолеть большинство попыток его остановить, а не просто мощный инструмент, который можно неправильно использовать.

Стандартная модель ИИ, где вы задаёте цель, а ИИ её оптимизирует, скорее всего, станет концом для нас.

Stuart Russell, профессор информатики, UC Berkeley · Автор, Human Compatible

Когда может появиться ASI?

Честный ответ: никто не знает точно, и любой, кто утверждает определённость в любом направлении, переоценивает доказательства.

Что мы знаем:

  • Темпы улучшения возможностей ИИ за последнее десятилетие постоянно опережали прогнозы экспертов. Вехи, на которые отводили десять лет, неоднократно достигались за два-три года.
  • Ведущие лаборатории ИИ (OpenAI, Anthropic, Google DeepMind, Meta AI) теперь называют сроки появления ИИ человеческого уровня годами, а не десятилетиями. Это внутренняя рабочая гипотеза организаций, ближе всех стоящих к фронтиру, а не маргинальные домыслы.
  • Многие публичные прогнозы исследователей и лабораторий сейчас сходятся в диапазоне примерно 2027–2030-х годов для достижения уровня человека или трансформативного искусственного интеллекта, при этом остаются разногласия о том, насколько быстро пройдут последние сложные этапы.
  • Улучшения способностей, которые раньше занимали годы, теперь приходят за месяцы. Разрыв между GPT-2 (2019) и системами, превосходящими большинство людей по большинству когнитивных тестов, возник менее чем за пять лет.

Самый важный факт — не точная дата, а структурный. Технология такого масштаба может появиться в пределах горизонтов планирования нынешних институтов, правительств и договоров. Договор о нераспространении ядерного оружия разрабатывался годами и десятилетиями расширялся до нынешней комплексной структуры. Если мы начнём серьёзные усилия по управлению только после того, как ASI станет clearly imminent, мы уже опоздаем с созданием необходимых рамок.

Почему управление нужно сейчас, а не позже

Стандартный аргумент против упреждающего регулирования: нужно ждать реальной угрозы. Применительно к ИИ это звучит так: ASI ещё не существует, сроки неопределённы, и не стоит ограничивать полезную технологию из-за гипотетических будущих рисков.

Аргумент звучит разумно. Он не выдерживает тщательной проверки по нескольким причинам.

Во-первых, окно для создания механизмов управления ограничено. Международные договоры требуют лет на переговоры, институты — лет на создание, политический консенсус — лет на достижение. Если начинать строить, когда угроза уже неотложна, мы не успеем вовремя.

Во-вторых, издержки предупредительного управления ограничены. Требования лицензирования вычислений, обязательные аудиты безопасности и международные режимы мониторинга влекут реальные, но управляемые затраты. Издержки недостаточного управления невыровненным сверхразумом неограниченны. Они могут оказаться тотальными.

В-третьих, исторический опыт ясен. Мы создавали рамки ядерного управления до того, как большинство стран обзавелись ядерным оружием. Мы запретили ХФУ до того, как озоновый слой получил непоправимый ущерб. Мы вводили контроль над вооружениями с противниками до того, как proxy-войны перешли в прямые конфликты. Предупредительное управление катастрофическими рисками — это то, как институты работают в лучшем своём проявлении, а не отклонение от нормы.

Nakada Foundation три политических предложения (управление вычислительными мощностями, международный договор по безопасности ИИ и Глобальное агентство мониторинга ИИ) напрямую смоделированы по этим прецедентам. Вопрос не в том, возможны ли такие рамки. История говорит, что возможны. Вопрос в том, успеем ли мы их создать вовремя.

Самое жёсткое возражение

Самое справедливое возражение — что ASI это неопределённый хайп и регулировать его сейчас — это научная фантастика в законодательстве. Именно из-за неопределённых маркетинговых терминов закон должен опираться на вычислительные мощности, возможности и автономию, а не на бренды. Ожидание идеальной словарной статьи — верный способ опоздать, когда система уже появится.