НАШ ПЛАН

Договор по безопасности ИИ и план политики управления, Изменения приходят из закона,
не из лабораторий.

Техническое сообщество уже десять лет предупреждает. Предупреждения не замедлили лаборатории. Сейчас не хватает политической воли, правовых рамок и коалиции, достаточно сильной, чтобы остановить гонку к системам, которые никто не сможет контролировать.

ПРИЗЫВ К ДЕЙСТВИЮ

Почему мы существуем.

Nakada Foundation to Save Humanity создавался на единственной посылке: самые важные решения в истории человечества, от которых зависит выживание вида, не должны приниматься горсткой инженеров из пяти корпораций одной страны.

Мы не солидарны с истеблишментом исследований безопасности ИИ, который в основном финансируется теми же лабораториями, что гонятся за созданием изучаемых систем. Мы считаем, что структура стимулов в этой области фундаментально искажена и решение не придёт изнутри индустрии.

Большая часть денег и престижа по-прежнему уходит на то, чтобы сделать гонку безопаснее, а не на то, чтобы её остановить у ASI. Наша задача — другая: остановить ASI под обязательным законом. Суперинтеллект невозможно контролировать.

Узкий ИИ трансформирует мир и приносит пользу. Он может лечить болезни, ускорять открытия и расширять человеческий потенциал. Мы не против ИИ. Мы против создания формы интеллекта, которую мы не сможем контролировать, выровнять и остановить.

Перемены требуют внешнего давления: от правительств, от закона, от культуры и от людей, понимающих, что на кону стоит не рыночный исход, а выживание человеческого вида.

У нас есть модель для этого Договор о нераспространении ядерного оружия.

ЧЕМ МЫ ОТЛИЧАЕМСЯ

Не исследовательская лаборатория

В отличие от организаций по безопасности ИИ, мы не создаём, не обучаем и не проводим эксперименты с системами ИИ. Мы не принимаем финансирование, которое могло бы создать конфликт между нашей миссией и нашим посланием.

Не этический орган

В отличие от организаций по этике ИИ мы сосредоточены исключительно на экзистенциальном риске: не на предвзятости, справедливости или злоупотреблении существующим ИИ. Эти вопросы важны. Они не равны проблеме вымирания.

Кампания

Мы работаем как филантропическая просветительская кампания, а не академический институт. Мы стремимся изменить общественное понимание, строить коалиции и сделать возможным обязательное предотвращение сверхразума — так, как действовало каждое успешное общественное движение в истории.

НАША ПОЗИЦИЯ

Предотвращение, а не временная пауза.

Нас часто относят к лагерю «паузы»: несколько лет передышки, чтобы лаборатории сделали сверхразум безопасным, а потом продолжили. Это не то, чего мы требуем. Мы хотим, чтобы правительства навсегда предотвратили создание искусственного сверхразума. Сверхразум не может контролироваться людьми.

Разница существенна. Пауза предполагает проблему расписания: замедлиться, дать безопасности догнать, запустить. Никто не имеет проверенного способа контролировать систему, более способную, чем её создатели. Ни в малом масштабе. Ни в большом. Ни одного проверенного метода. Об этом публично говорят сами те, кто торопится его создать.

Если это остаётся верным, то создание суперинтеллекта при помощи методов, близких к сегодняшним, порождает не рискованную технологию, которую можно осторожно контролировать, а исход, из которого нет возврата. Именно этот аргумент наиболее прямо изложен в книге 2025 года Если кто-то построит это, все умрут, авторы — Элиезер Юдковский и Нейт Соарес. Не обязательно соглашаться со всеми тезисами, чтобы увидеть асимметрию: попытка будет ровно одна, и никто не подскажет, как пройти её без ошибок.

Таким образом, договор, который мы предлагаем не способ сделать разработку сверхинтеллекта безопасной. Не существует известного способа это сделать. Договор — это съезд с гонки: постоянное решение не принимать эту ставку. Сверхинтеллект не может контролироваться людьми.

Именно поэтому мы расходимся с большей частью области безопасности ИИ. Значительная часть "безопасность" втихую предполагает, что системы будут построены и пытается лишь снизить вероятность того, что они нас убьют. Мы считаем, что это переворачивает проблему. Когда вы не можете контролировать негативные последствия, и недостаток в том, что все, ответственным шагом будет перестать строить опасную вещь. Суперинтеллект не поддаётся контролю, поэтому ответ — не строить осторожнее. Узкий ИИ (тот, что лечит болезни и ускоряет открытия) продолжается. Запретить нужно именно тот узкий класс систем, который превзойдёт человеческий интеллект во всех областях.

ТРИ СТОЛПА

Как мы работаем.

01

Общественное образование

Объясняйте необходимость обязательных рамок, запрещающих сверхразумные ИИ-системы, а не добровольных рекомендаций. Работа — это простые и понятные тексты, присутствие в соцсетях и креативные медиа, которые дадут обществу общий язык для предотвращения.

Аргументы сосредоточены на трёх узких местах, которые могут использовать государства: вычислительная инфраструктура, где небольшое число производителей чипов контролирует оборудование для обучения передовых моделей; лаборатории передового ИИ, где коммерческие стимулы перевешивают обязательства по безопасности; и международные органы, где нужно создавать договорные рамки до того, как гонки возможностей станут необратимыми. Прямого лоббистского подразделения в Вашингтоне или других столицах у нас нет.

02

Построение коалиции

Привлечение крупнейших мировых благотворительных фондов, глав государств, нобелевских лауреатов, знаменитостей и деятелей культуры для усиления послания, финансирования дела и сдвига окна Овертона.

История эффективной advocacy — это история неожиданных коалиций. Движение за гражданские права объединило духовенство, профсоюзы и юристов. Движение за ядерное разоружение собрало физиков и поэтов. Мы строим коалицию, которая сделает безопасность ИИ определяющей политической темой этого десятилетия.

03

Культура и осведомлённость

Заказывать произведения искусства, кино, журналистику и медиа, которые сделают опасность осязаемой и неоспоримой. Движение за климат десятилетиями терпело неудачу отчасти потому, что угроза казалась абстрактной и далёкой. Риск ИИ таковым не является, но его нужно сделать ощутимо близким.

Безопасность нужно сделать престижной, срочной и невозможной игнорировать. Мы работаем с режиссёрами, писателями, гейм-дизайнерами и журналистами, чтобы создать культурную инфраструктуру долгосрочного движения, включая экономическое обоснование в Почему капиталист верит в регулирование ASI.

ДОРОЖНАЯ КАРТА ПОЛИТИКИ

Три конкретных требования.

Это реальные меры, которые правительства могут принять с помощью уже существующих инструментов. У каждой есть прецедент с названием и годом.

Инфографика: схема нашего плана — от сегодняшней гонки к обязательному договору и верификации Инфографика: схема нашего плана — от сегодняшней гонки к обязательному договору и верификации
От гонки к обязательный договор.
01

Управление вычислительными ресурсами

Ввести государственное лицензирование для тренировочных запусков, превышающих заданный порог вычислений (сейчас предлагается 1026 операций с плавающей запятой). Предписать независимые аудиты безопасности перед развёртыванием. Создать проверенный международный реестр всех тренировочных запусков передовых моделей. Вычисления — это узкое место: небольшое число производителей, прежде всего TSMC, NVIDIA и ASML, контролируют оборудование, необходимое для создания передовых систем ИИ, что делает лицензирование на уровне вычислений технически простым и проверяемым.

Потолок держится только если само аппаратное обеспечение отслеживается. Передовые графические процессоры, от которых зависят эти тренировки, можно регистрировать и, всё чаще, построенных для проверки на чипе, где они находятся и что делают, криптографически защищённое подтверждение местоположения и лимиты использования, встроенные в кремний, чтобы юридический потолок стал физическим. Это же ответ на офшоринг: без аппаратного отслеживания лаборатория, упирающаяся в потолок дома, просто перенесёт тренировочный запуск в юрисдикцию с мягкими правилами. Распространение экспортного контроля и верификации на уровне чипов по всей цепочке поставок — вот что не даёт вычислениям тихо утекать туда, где правила слабее.

02

Международный договор по безопасности ИИ

Обязательное многостороннее соглашение о запрете разработки систем ИИ, превышающих заданный порог общих возможностей, по образцу Договор о нераспространении ядерного оружия. Ни одна нация не должна быть освобождена. Это не мораторий, который можно снять по расписанию; это постоянный запрет. Суперинтеллект не может контролироваться людьми. NPT несовершенен, но он уже восемьдесят лет предотвращает применение ядерного оружия. Стандартное возражение («другие страны нарушат соглашение») именно аргумент, выдвинутый против ядерного нераспространения. Ответ — не в гонке. Ответ — в договоре с механизмами верификации.

03

Глобальное агентство по мониторингу ИИ

Межправительственный орган с правом инспекций, аналогичный МАГАТЭ, уполномоченный проверять соблюдение лимитов вычислений и требовать безопасных практик разработки в передовых лабораториях ИИ. IAEA был создан в течение трёх лет после Договора о нераспространении ядерного оружия. Глобальное агентство по мониторингу ИИ достижимо в те же сроки если существует политическая воля. Его мандат будет включать обязательную отчётность о тренировочных запусках, инспекции на месте в крупных лабораториях ИИ и полномочия издавать обязательные рекомендации государствам-членам.

ПРИНУЖДЕНИЕ

Какие затраты на принуждение,
и почему за это стоит платить.

Договор реален лишь настолько, насколько реально его исполнение. Призывать к договору, не называя конкретный механизм, — значит обманывать. Издержки существуют, но по сравнению с тем, что они покупают, они всё равно невелики.

Навязчивая верификация

Настоящее enforcement подразумевает инспекции дата-центров на месте, обязательное декларирование крупных тренировочных запусков и аппаратное обеспечение, которое само сообщает своё местоположение и использование. Это вторжение в коммерческую тайну, а при неосторожном обращении — и в приватность. Режим ядерных инспекций принимает такое же вторжение, потому что альтернатива хуже. Гарантия в том, что мониторинг международный и прозрачный, а не принадлежит одному государству или компании.

Упущенная выгода

Сдерживать суперинтеллект — значит откладывать любые выгоды, которые когда-нибудь могла бы принести контролируемая версия, и просить компании и страны оставить на столе огромную краткосрочную прибыль. Это реальная цена. Но неконтролируемый суперинтеллект не принесёт этих выгод никому: систему, которую нельзя согласовать, нельзя и сохранить как актив. Откладывать приз, который никто не может безопасно получить, — не такое уж большое жертвоприношение.

Жёсткая грань

Правила без последствий — это предложения. Принуждение работает, только когда нарушения влекут весомые меры: отказ в экспорте, финансовые санкции, исключение из цепочки поставок вычислительных мощностей и (как с расщепляющимися материалами) общее понимание, что проект по созданию сверхразума в обход правил — чрезвычайная ситуация для всех, а не частное дело. Выстроить такую грань трудно и политически дорого. Каждому серьёзному режиму контроля над вооружениями это всё равно потребовалось.

Затраты на контроль ограничены. Затраты на отсутствие контроля — нет.

Каждое возражение против контроля (что он intrusive, дорогой и ограничивает отрасль) верно и терпимо. Единственный исход, который непереносим, — это тот, для предотвращения которого контроль и существует. Мы платим ограниченные, известные издержки, чтобы исключить неограниченные, необратимые. Это тот же компромисс, который цивилизация уже сделала для ядерное, химическое и биологическое оружие.