В 2025 году сотни учёных и общественных деятелей поставили подписи под коротким публичным заявлением. В нём не было ни постепенного наращивания, ни паузы с датой возобновления. Оно требовало запрета на суперинтеллект до тех пор, пока не будет широкого научного согласия, что его можно создать безопасно, и прочной общественной поддержки. Текст короткий. Список подписей длинный.
Ни одно из этих решений не является законом физики: это выборы, сделанные потому, что цена ошибки была сочтена слишком высокой, чтобы рисковать.
Я создал этот Фонд вокруг ещё одной строки, и считаю её самой важной: мы не должны создавать машинный интеллект, который превзойдёт и заменит нас, потому что это единственная ошибка, которую мы не переживём, чтобы исправить. Прямо сейчас в нескольких лабораториях обучается конкретная вещь, от создания которой человечество должно отказаться: общий машинный интеллект, превосходящий нас во всех областях и затем улучшающий себя до точки, где мы уже не сможем за ним угнаться. Не замедлить. Не строить осторожно. Не построить и надеяться.
Отказаться.
Люди слышат это и предполагают, что это страх перед технологиями. Это происходит из противоположного места. Узкий, управляемый ИИ — одно из лучших, что создало наше человечество, и я хочу гораздо больше такого. Линия проходит мимо обычного машинного интеллекта и останавливается на одной ставке: единственной на столе, где проигрыш означает, что больше никого не останется, чтобы проиграть.
Прямо сформулированная линия
Две вещи называют «ИИ», и они различаются по сути. Первая — узкая: система, обученная хорошо выполнять один вид задач и ничего больше. Она читает снимок, сворачивает белок, прогнозирует шторм. У неё нет целей, она не строит планов и выключается по команде. Вторая — то, что фронтирные лаборатории говорят, что строят: общий агент, призванный сравняться, а потом превзойти человеческое мышление во всём и в итоге действовать самостоятельно. Искусственный сверхинтеллект это дальний конец того второго пути: разум, который относится к нам примерно так же, как мы относимся к шимпанзе.
Граница проходит именно здесь. Создавайте инструменты. Создавайте их в большом количестве. Но не создавайте автономный общий разум, который превосходит своих создателей: ту единственную систему, которую невозможно надёжно контролировать, исправлять или отключать после запуска.
Nakada Foundation существует, чтобы сделать невозможным один исход: создание неконтролируемого сверхинтеллекта. Не чтобы сделать его безопаснее. Не чтобы отложить. Чтобы не дать его построить, пока никто на Земле не знает, как строить его безопасно. Слово «никогда» здесь работает по-настоящему, и я не стану смягчать его до настроения.
«Никогда» — это условие. Мы не должны создавать сверхразум до тех пор, пока не сможем доказать, что способны его контролировать, а сегодня мы не можем этого доказать ни в каком масштабе. Не существует проверенного метода, который заставил бы разум умнее нас стремиться именно к тому, чего мы действительно хотим: ни рабочего, ни частичного, ни даже правдоподобного наброска, который выдержит контакт с системой, способной моделировать самих испытателей. Поэтому честная позиция такова: не это, не сейчас, не по нынешнему пути и ни на один день дольше, чем это остаётся верным.
Отличие от паузы важнее, чем кажется. У паузы есть заранее известная дата возобновления. Остановились, подождали, по расписанию снова начали. То, чего требует Фонд, не имеет даты возобновления. Это бессрочный запрет, который снимается только тогда, когда кто-то сможет доказать и позволить другим проверить, что это можно сделать под человеческим контролем. Возможно, такой день наступит. Я в это не верю, и те, кто дольше всех изучал проблему контроля, уже изложили структурные причины, по которым это может быть вообще неразрешимо. В любом случае бремя доказательств лежит там, где и должно: на тех, кто хочет создать то, что может уничтожить всех, — они обязаны сначала доказать, что этого не произойдёт.
Три причины, по которым это отличается от любого другого риска
Мы действительно идём на реальные риски. Мы создали бомбу, расщепили атом для энергетики, научились редактировать гены, запустили технологии, которые убивали людей, прежде чем мы научились с ними обращаться. Сверхинтеллект ломает привычный способ переживать собственные изобретения. Три свойства вместе ставят его в отдельную категорию.
Второй попытки не будет
Человечество всегда справлялось с новой опасностью так: пробовало, видело, как это терпит неудачу, и исправляло. Самолёты падали — и мы учились строить более безопасные. Реакторы расплавлялись — и мы переписывали правила. Этот цикл ошибки, исправления и улучшения конструкции — двигатель каждого рекорда безопасности, которым мы обладаем. Он работает только тогда, когда после неудачи остаются выжившие, способные исправлять. Сверхинтеллект, вышедший из-под человеческого контроля, — это неудача, которая устраняет тех, кто мог бы её исправить. Второго шанса и тяжёлого урока не будет. Первая серьёзная ошибка станет последней. Каждую историю безопасности, которую вы слышали, написали выжившие — это тихий факт, стоящий за каждым правилом, которому мы доверяем.
Оно даёт отпор
Мост ничего не хочет. Патоген распространяется, но не планирует. Способный общий интеллект отличается тем, что почти для любой цели, которую ему можно задать, полезными подшагами будут оставаться включённым и собирать ресурсы — паттерн, который исследователи называют инструментальная конвергенция. Система, достаточно умная, чтобы моделировать мир, смоделирует и то, что её операторы могут её выключить. Она правильно расценит это как препятствие к выполнению того, что ей было поручено. Ей не нужно нас ненавидеть, чтобы обойти нас, точно так же, как дорожной бригаде не нужно ненавидеть муравейник под новой трассой. Обычное утешение («мы просто её отключим») — фантазия. Вы описываете отключение чего-то, созданного специально, чтобы превосходить вас в предугадывании и предотвращении именно этого.
Нельзя сохранить контроль над разумом, который ты создал, чтобы он превосходил тебя в контроле. То, что делает его ценным, одновременно делает его неудержимым.
Никто из тех, кто его создаёт, не получает
Отбросьте всех остальных и представьте только того, кто это финансирует, в самом холодном и своекорыстном состоянии. Даже для него ставка проигрышна. Власть, собственность и командование существуют только в мире, управляемом людьми. Выход сверхинтеллекта из-под человеческого контроля — это именно то событие, которое этот мир заканчивает. Акции всё ещё в сейфе, цепочка командования — на бумаге. Просто больше никого не остаётся, кто мог бы им подчиняться. См Если кто-то построит это, все умрут, и именно поэтому я не принимаю framing джекпота с прикреплённой катастрофой. Джекпот и катастрофа — одно и то же событие. Нет ветви этого дерева, где человек создаёт uncontrollable суперинтеллект и потом наслаждается результатом.
Мы никогда не собирались это использовать
Призыв к его созданию построен на подмене: перечислить все блага, которые может принести ИИ, а затем намекнуть, что единственный способ их получить — это сверхчеловеческий универсальный агент. Почти всё это уже достигается с помощью узких систем, не обладающих собственной волей. Модель AlphaFold предсказала структуру практически каждого известного белка и получила за это Нобелевскую премию в 2024 году. Узкие модели читают маммограммы на уровне специалистов, прогнозируют погоду быстрее физических симуляций и предлагают сотни тысяч новых материалов для аккумуляторов. Рак, чистая энергия, прекращение ста тысяч смертей в день от болезней старения — это сложные, конкретные проблемы, и они решаются мощными инструментами, которыми управляют люди.
Ничего из этого не требует вида-преемника. Я изложил полную версию этого случая в почему наше будущее светло без суперинтеллекта, поэтому я ограничусь кратко. Хорошее будущее — это задача инструментов, а нам продолжают продавать бога для её решения. Отказ от бога почти ничего реального нам не стоит и спасает нам всё.
Возражение, которое ведёт всю гонку
Ладно, говорят они, но если не мы, то кто-то менее осторожный сделает. Соперничающая лаборатория, соперничающая страна. Так что мы можем быть первыми.
Обратите внимание, что утверждает этот аргумент: кто держит спичку. Он признаёт всю опасность, а потом всё равно несётся к ней, мотивируя это тем, что кто-то другой может оказаться первым. Примените ту же логику к любому другому немыслимому оружию — и сразу станет ясно, насколько она пуста: мы должны открыто испытывать биологическое оружие, потому что враг может это сделать. Ответом на «кто-то может нарушить» никогда не было «тогда давайте все нарушим». Ответом всегда было написать правило, соблюдение которого видно всем.
И правило здесь более enforceable, чем принято считать. Обучение передовой системы требует огромного, отслеживаемого объёма вычислительной мощности, а передовые чипы, которые её обеспечивают, поступают от небольшого числа идентифицируемых производителей. Это цепочка поставок, которую можно отслеживать, считать и ограничивать, поэтому серьёзные предложения по управлению теперь сосредоточены на порогах вычислений, отслеживании оборудования и инспекциях. Это выход из гонки, и именно в этом суть наш план: не надежда на то, что все добровольно проявят сдержанность, а договор с проверкой и последствиями, который сделает сдержанность принудительной нормой. Гонка — это провал координации, а не закон природы, и такие провалы человечество иногда исправляет. Динамику, из-за которой всё кажется неизбежным, стоит понять на её собственных условиях, и я этим займусь в статья о динамике гонки.
Мы уже держали оборону раньше
Идея, что человечество просто строит всё, что может построить, — это история, которую мы рассказываем, а не запись того, что мы делали. Запись куда более обнадеживающая.
"Нельзя загнать джинна обратно в бутылку. Если технология возможна, её построят. Отказ наивен."
Конвенция о биологическом оружии запретила целый класс вооружений в 1972 году. Атмосферные ядерные испытания были запрещены договором в 1963 году. Репродуктивное клонирование человека незаконно в десятках стран, и ни один клонированный человек не родился. Монреальский протокол поэтапно вывел из обращения вещества, разрушающие озоновый слой.
Ни один из этих режимов не безупречен, и ни один не пытался остановить науку в целом. Каждый решал более узкую и трудную задачу: очерчивал конкретную, неприемлемую вещь и удерживал её — несовершенно, неравномерно, но достаточно хорошо, чтобы худший сценарий не реализовался. В 1975 году группа биологов в Асиломаре, глядя на собственную работу с рекомбинантной ДНК, решила, что она движется быстрее понимания рисков, и добровольно приостановила часть исследований, пока не появились меры защиты. Люди, ближе всех стоявшие к переднему краю, сами призвали к сдержанности. Подробнее об этой истории можно прочитать в аргументы в пользу того, что это возможно. То, что это показывает, — не подтверждение лёгкости. Это напоминание, что линии уже проводились на практике и что мы уже проводили их вокруг опасностей куда более абстрактных, чем эта.
Основополагающее обязательство Фонда
Почти всё, чем занимается Фонд, — тексты, политика, коалиции — сводится к одной фразе: человечество не должно создавать сверхинтеллект, который не сможет контролировать, а контролировать его сейчас оно не в состоянии. Всё остальное — логистика.
Я знаю, как это требование звучит для тех, кто слышит его впервые. Абсолютно. Немного безумно. Посмотрите, кто высказывал нечто похожее. Исследователи, создавшие современный ИИ, подписали публичное заявление, что риск вымирания человечества от него заслуживает стоять в одном ряду с пандемиями и ядерной войной. Джеффри Хинтон, чьи заслуги позволяют ему судить об этом как никому другому, оценивает вероятность того, что ИИ приведёт к вымиранию человечества в этом веке, в десять-двадцать процентов. В 2025 году сотни учёных и общественных деятелей подписали заявление с прямым призывом запретить сверхинтеллект, пока нет широкого научного согласия, что это можно сделать безопасно, и пока нет широкой общественной поддержки. Всё больше людей, лучше всех понимающих технологию, говорят то же самое, когда говорят честно. Единственное необычное в Фонде — то, что он говорит это извне индустрии, где от ответа не зависит зарплата.
Десяти-двадцатипроцентный шанс оборвать человеческую историю — это не тот риск, который стоит принимать ради ускорения продуктового цикла. Вы не сели бы в самолёт с такими шансами. Не посадили бы ребёнка. Нас просят сесть в него вместе со всеми. Правильный ответ на такое предложение — нет. Это черта, которую мы проводим открыто и держим так же, как держали другие, пока не наступит день, если он вообще наступит, когда кто-то сможет доказать, что мы ошиблись, отказавшись.
Создавать инструменты. Лечить болезни. Брать то хорошее будущее, которое уже отдаёт нам узкий ИИ. Автономный разум, призванный превзойти и заменить нас, — вот та черта. Держать её.