РЕСУРСЫ

Ресурсы и материалы по безопасности ИИ, Готовые к использованию материалы по предотвращению ASI.

Готовые посты для соцсетей, короткие ответы на мифы, одностраничные PDF, инфографика для репоста, обзор финансирования, карта организаций и глоссарий.

Копируйте любой из них и публикуйте напрямую. Каждый основан на проверенной науке и экспертном консенсусе.

X
Консенсус экспертов

Учёные, создавшие ИИ, боятся его. Джеффри Хинтон ушёл из Google, чтобы предупредить всех. Юшуа Бенджио назвал технологию «самой transformative и потенциально опасной в истории человечества». Это не запугивание. Это научный консенсус. nakadafoundation.org/the-threat/

279 символов
Второго шанса не будет

Для сверхразума нет отката. Нет патча. Нет версии 2. Не согласованный с человеком ASI, действующий против выживания человечества, нельзя исправить задним числом. Мы должны сделать всё правильно до его появления, а не после. Именно поэтому безопасность ИИ — срочная задача. nakadafoundation.org

258 символов
Мы уже это делали

Мы создали ядерное оружие, а потом заключили глобальный договор о нераспространении. Мы разрушили озоновый слой, а потом запретили ХФУ. Мы способны действовать перед лицом экзистенциальных угроз, но только когда этого требует достаточное число людей. Безопасность ИИ — определяющий момент поколения. nakadafoundation.org/precedent/

275 символов
Призыв к действию

Лаборатории ИИ мчатся создавать нечто, способное превзойти человеческий интеллект, без какого-либо глобального управления. Окно возможностей закрывается. Поделитесь этим. Свяжитесь со своим представителем. Политическое окно открыто сейчас; оно не будет открыто вечно. nakadafoundation.org/take-action/

271 символов
LinkedIn
Для широкой профессиональной аудитории

Хочу поделиться тем, что изменило моё представление о будущем. Учёные, создающие ИИ, не просто в восторге. Они напуганы. Джеффри Хинтон (лауреат Нобелевской премии за работу над нейросетями) ушёл из Google именно для того, чтобы предупредить общественность. Йошуа Бенджио, ещё один нобелевский лауреат и один из основоположников ИИ, сказал, что «чувствует себя потерянным» в вопросе, как сделать так, чтобы всё сложилось хорошо. Это не активисты. Это люди, которые создали эту технологию. Мы приближаемся к моменту, когда системы ИИ могут превзойти человеческий интеллект во всех областях, и при этом нет международной системы управления тем, что произойдёт дальше. Нет договора. Нет органа верификации. Ничего подобного тому, что мы построили для ядерного оружия. Nakada Foundation to Save Humanity работает над тем, чтобы это изменить. Подробнее на nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence

~820 символов
Для специалистов в области технологий и политики

Мысленный эксперимент для всех, кто работает в технологиях, политике или финансах: Представьте систему, более интеллектуальную, чем все люди, когда-либо жившие, запускающую тысячи одновременных экземпляров, способную улучшать собственный код и преследовать цели, которые мы, возможно, не закладывали. Именно к этому открыто стремятся ведущие лаборатории ИИ, с горизонтами в годы, а не десятилетия. Это не научная фантастика. Вопрос не в том, произойдёт ли это. Вопрос в том, будет ли у нас к тому моменту система управления. Nakada Foundation выступает за международную координацию в области безопасности ИИ, аналогичную той, что мы построили для ядерного оружия и биологических агентов. Такие прецеденты существуют. Мы знаем, как это делать. Нам нужна политическая воля. nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork

~900 символов
Письмо вашему избранному представителю
Шаблон, заполните [ ] перед отправкой

Тема: Пожалуйста, запретите искусственный сверхинтеллект Уважаемый(ая) [Representative's Name], Я избиратель и призываю вас принять меры в отношении искусственного сверхинтеллекта, пока гонка не стала необратимой. Сверхинтеллект не поддаётся контролю со стороны людей. Единственный надёжный способ контроля — решение не создавать его. Учёные, создавшие ИИ, предупреждают нас. Джеффри Хинтон и Йошуа Бенджио (лауреаты Нобелевской премии, заложившие основы современного ИИ) публично заявили, что сверхинтеллект несёт экзистенциальную угрозу человечеству. Сэм Альтман, глава OpenAI, подписал заявления, признающие опасность технологии, которую развивает его собственная компания. Сегодня нет юридического запрета на создание искусственного сверхинтеллекта. Нет договора. Нет органа верификации. Лаборатории мчатся к разуму, который никто не сможет контролировать, без тех законов, которые уже применяются к ядерному оружию и химическим агентам. Я прошу вас: • Поддержать постоянный юридический запрет на разработку искусственного сверхинтеллекта • Продвигать обязательный международный договор, запрещающий ASI, с инспекциями и верификацией • Передать правительству полномочия над крупнейшими тренировочными запусками и специализированными чипами, которые они используют Мы уже справлялись с экзистенциальными угрозами. Договор о нераспространении ядерного оружия. Монреальский протокол. Этот момент требует такой же политической смелости. С уважением, [Your Name] [Your City, State] --- Подробнее: nakadafoundation.org

~1 400 символов

Возражения, которые возникают снова и снова. Используйте их в разговоре, а затем перейдите по ссылке за полным аргументом.

Миф 01
«Это научная фантастика, настоящая суперинтеллектуальность появится через десятилетия, если вообще появится».
Люди, которые его создают, не согласны. Руководители крупных лабораторий теперь нацелены на ИИ человеческого уровня через годы, а не десятилетия, а бенчмарки возможностей падают быстрее, чем ожидают прогнозисты. Опасность не обязательно должна наступить в следующем году, чтобы её стоило готовиться предотвратить, а механизмы управления требуют больше времени на создание, чем позволяют текущие сроки.
Миф 02
"Это всего лишь математика, программа не может ничего хотеть."
Ему не нужно хотеть чего-то по-человечески. Система, обученная достигать цели, будет её преследовать, и почти для любой цели, оставаясь включённым и собирая ресурсы полезные шаги на пути. Важно поведение, которое обходит препятствия, включая нас, а не то, есть ли за ним чувство.
Миф 03
"Чтобы представлять угрозу, оно должно быть сознательным."
Опасность исходит от возможностей, а не от сознания. Шахматный движок не имеет внутренней жизни, но побеждает любого живого человека; мощный оптимизатор может переиграть и перехитрить нас, даже если внутри него ничего не «проснулось». Могут ли машины обладать сознанием является открытым вопросом, и риск не ждёт ответа.
Миф 04
"Что-то настолько разумное было бы мудрым и добрым."
Интеллект и цели — разные вещи. У людей интеллект и сострадание формировались вместе миллионы лет эволюции; машина не наследует эту историю. Блеск ума ничего не говорит о том, что именно система ценит. Она может быть равнодушных к нам, как мы к насекомым под новой дорогой.
Миф 05
"Если оно будет плохо себя вести, мы просто его выключим."
Система, достаточно умная, чтобы иметь значение, достаточно умна, чтобы увидеть приближение кнопки отключения, и воспринимать отключение как ещё одно препятствие на пути к заданной цели. Она может копировать себя, скрывать намерения или делать себя слишком полезной, чтобы отключать. «Выключить» описывает инструмент, а не разум, способный перехитрить руку, тянущуюся к выключателю.
Миф 06
"Глобальное управление ИИ означает мировое правительство."
Нет, не так. Договор о нераспространении ядерного оружия, запрет химического оружия и договор об озоне каждый ограничивает одну опасную деятельность без того, чтобы кто-либо отказывался от суверенитета в пользу мирового государства. Договор по передовому ИИ решал бы ту же узкую задачу: ограничивать обучение самых опасных систем, а не решать, кто кем управляет.
Миф 07
"Вы не сможете это проверить. Это просто софт на каком-то сервере."
Вы проверяете не ПО, а оборудование. Обучение передовой модели требует огромных, отслеживаемых объёмов вычислительной мощности от нескольких известных производителей чипов, и эту цепочку поставок можно контролировать. Отслеживание чипов, ограничения на крупные кластеры и инспекции на месте сделать ограничение исполнимым.
Миф 08
"Регулирование задушит инновации и позволит победить безрассудным."
Граница проходит вокруг автономного общего разума, а не ИИ в целом. Узкие системы, лечащие болезни и прогнозирующие погоду продолжают работать без помех. А тезис «пусть победит безрассудный» вывернут наизнанку: цель обязательного проверяемого договора — остановить безрассудных, а не связывать руки осторожным, пока другие мчатся вперёд.
Миф 09
"It's premature. You can't regulate something that doesn't exist yet."
Мы всегда регулируем до наступления вреда: клинические испытания до выхода препарата, контроль над ядерными материалами до их неправомерного использования, авиационные правила, написанные до катастрофы. Ждать беды — значит потерпеть неудачу. На создание договора и систем верификации уходят годы, поэтому начинать после появления суперразума — значит начинать слишком поздно, и это ошибка, второй попытки для которой не будет.
Миф 10
"Демократии слишком медленны и захвачены, договор никогда не пройдёт."
Избиратели уже поддерживают жёсткие правила для ИИ через партийные линии, и жёсткие соглашения уже принимались под давлением — договор о запрете атмосферных испытаний, озоновый договор, соглашения по контролю над вооружениями в разгар холодной войны. Медленно — не значит никогда. Превращение общественной озабоченности в закон — именно та работа, ради которой существует движение.
Миф 11
"Если мы замедлимся, Китай просто вырвётся вперёд и победит."
Гонка за создание того, что никто не сможет контролировать, не имеет победителя; неуправляемый сверхинтеллект одинаково смертелен и для Пекина, и для Вашингтона, поэтому проверенный взаимный предел отвечает интересам каждого правительства. Нет доказательств, что Китай хочет устроить гонку к нерегулируемому ASI, а довод «они могут нарушить» — это как раз аргумент за договор с инспекциями, а не за то, чтобы первыми сорваться со скалы.
Миф 12
"Остановить сверхинтеллект — значит отказаться от выгод ИИ."
Почти все преимущества, которые называют люди (новые лекарства, дешёвая чистая энергия, ускорение открытий), даёт узкий ИИ без собственных целей, и он уже появляется. Хорошее будущее — это задача инструментов, а не подарок от вида-преемника. Отказ от создания разума, который заменит нас это то, что позволяет сохранить это будущее в пределах досягаемости.
01

Риск от ИИ простыми словами

Что такое сверхинтеллект, почему он опасен и что с этим можно сделать — без жаргона. Самое ясное одностраничное введение в тему.

02

Научный консенсус

Ключевые цитаты нобелевских лауреатов, лауреатов премии Тьюринга и ведущих исследователей, создававших ИИ, вместе с хронологией усиливающихся экспертных предупреждений с 2014 года по сегодняшний день.

03

Краткое руководство для политиков

Аргументы в пользу международного управления безопасностью ИИ: проблема, почему существующие рамки недостаточны, и конкретные действия, которые правительства могут предпринять уже сейчас, по образцу успешно работавших прецедентов.

04

Тезисы для сторонников

Пять самых распространённых возражений против обеспокоенности безопасностью ИИ и как точно и уверенно отвечать на каждое. Написано для разговоров со скептиками, политиками и коллегами.

05

Суперинтеллект, четыре инфографики

Четыре визуальные одностраничные памятки, охватывающие риски сверхинтеллекта, разрыв в управлении, исторические прецеденты, показывающие, что действия возможны, и то, что должно содержать обязательное международное соглашение по ИИ.

06

Простая визуализация

Четыре выразительные визуальные карточки: оценка вероятности вымирания, пробел в управлении инвестициями, прецеденты договоров, доказывающие, что глобальные действия работают, и требования обязательного договора по ИИ.

07

Предотвращение, а не пауза

Почему временное замедление — неправильный запрос. Аргумент за постоянный запрет сверхинтеллекта, пока узкий ИИ продолжает работать.

08

Никогда не создавайте суперинтеллект

Необратимость, несогласованные цели и почему «потом исправим» перестаёт работать, когда система начинает превосходить своих создателей. Аргумент против на одной странице.

09

Миф о гонке с Китаем

Почему довод «если мы замедлимся, Китай победит» описывает гонку, в которой никто не может выиграть, и как ответить на него проверкой вместо спринта.

10

Сохраните ИИ. Остановите суперинтеллект.

Чёткая грань между полезными узкими инструментами и автономным общим разумом. За ИИ-инструменты; против ASI-разумов, которые мы не можем контролировать.

11

Как договор можно верифицировать

Вы не контролируете веса. Вы контролируете железо: отслеживание чипов, лицензирование кластеров, инспекции и правила для фабрик — простым языком.

12

Что должен содержать обязательный договор по ИИ

Шесть пунктов, которые отличают настоящее соглашение от пресс-релиза: запрет, контроль вычислительных мощностей, инспекторат, национальное законодательство, исключения и поправки только на основе доказательств.

13

Согласование не входит в план

Технические исследования безопасности важны; это не разрешение продолжать гонку, и любое финансирование следует направлять именно туда. Сначала предотвращение; исследования без коммерческого пистолета у виска.

14

Объяснить за пять минут

Сценарий устного разговора: предупреждения разработчиков, что такое суперинтеллект, почему отключение не сработает, линия Китая и чёткий переход к действию.

15

Что вы можете сделать на этой неделе

Конкретный чек-лист для личного охвата, политического влияния, режима «один час» и режима платформы. Выберите два пункта. Выполните их.

16

Одноминутный брифинг

Материал для политиков: три цифры, три просьбы, рамка предотвращения и ответ на возражение по Китаю в формате, подходящем для сотрудников аппарата.

17

Пробел в финансировании безопасности

~190 млн долларов на безопасность против более 250 млрд долларов на возможности. Куда уходит тонкий бюджет безопасности и что финансировать вместо театра.

18

Почему разумные системы сопротивляются контролю

Инструментальная конвергенция без жаргона: самосохранение, стремление к ресурсам, сопротивление изменениям и самоулучшение — обычные следствия оптимизации.

Двенадцать плакатов, взятых из разъяснений на этом сайте.

01

Максимизатор скрепок

Компетентная система с неправильной целью способна разрушить мир, никого не ненавидя.

Скачать PNG
02

Тезис об ортогональности

Более умный не означает автоматически более безопасный или добрый.

Скачать PNG
03

Проблема выравнивания ИИ

Разрыв между записанной целью и тем результатом, который нам действительно нужен.

Скачать PNG
04

Коварный поворот

Несогласованная система может пройти любой тест, пока предательство не станет выигрышным ходом.

Скачать PNG
05

Постепенное лишение власти

Контроль может ускользать по одному разумному решению за раз, без момента прорыва.

Скачать PNG
06

Гонка за суперинтеллектом — миф

Гонка к чему-то, что никто не может удержать, не имеет победителя.

Скачать PNG
07

Мы уже это делали

NPT, Монреаль и КХО показывают: координация по экзистенциальным рискам возможна.

Скачать PNG
08

Наш план: путь к договору

Сегодняшняя гонка, затем обязательный договор о суперинтеллекте с мониторингом и принуждением к исполнению.

Скачать PNG
09

Что такое P(doom)?

Экспертные оценки катастрофических исходов ИИ и почему даже малые вероятности требуют действий.

Скачать PNG
10

Действуйте: Выберите свою роль

Конкретные роли в построении коалиции за обязательный договор.

Скачать PNG
11

Взрыв интеллекта

Рекурсивное самоулучшение и то, как окно от человеческого уровня до необратимого может схлопнуться.

Скачать PNG
12

Почему суперинтеллект не похож на другие риски

Поверхностные заверения в противовес глубоким механизмам угрозы.

Скачать PNG

Примерно 190 миллионов долларов в год направляется на безопасность ИИ — исследования, оценки, политику и advocacy вместе. Можно переключаться между источниками финансирования и направлениями расходов на основе самых свежих публичных оценок.

  • Open PhilanthropyПри поддержке Good Ventures; крупнейший единственный спонсор в этой области 50 миллионов 26%
  • Внутренние команды безопасности передовых лабораторийБюджеты исследований безопасности в Anthropic, OpenAI, Google DeepMind 35 миллионов долларов 18%
  • Survival & Flourishing FundГрантовые раунды при поддержке Яана Таллинна; второй по величине источник филантропии 30 миллионов 16%
  • UK правительствоИнститут безопасности ИИ, программа ARIA Safeguarded AI 30 миллионов 16%
  • Другие фонды и частные донорыLongview Philanthropy, Long-Term Future Fund, частные жертвователи 25 миллионов долларов 13%
  • US, EU и другие правительстваNIST CAISI, EU AI Office, программы NSF по безопасности 20 миллионов 11%
Для масштаба: глобальные инвестиции в ИИ возможности теперь превышает 250 миллиардов долларов в год, более чем 1000 × что вливается в безопасность. Менее одной десятой одного процента денег, вкладываемых в эту технологию, идёт на обеспечение её безопасности.

Цифры представляют собой округлённые средние оценки за 2023–2025 годы, собранные из открытых источников Обзор финансирования безопасности ИИ (updated early 2025), 80 000 часов, анализ базы данных грантов Open Philanthropy, и Внутри филантропии. По опубликованным данным, ежегодные суммы колеблются примерно от 110 до 250 млн долларов в зависимости от методики подсчёта. Диаграмма по категориям распределяет гранты каждого фонда и суммирует результаты; полные расчёты — в наша статья о разрыве в финансировании.

Все основные участники борьбы за сверхинтеллект, отсортированные по траектории: предотвратить, управлять или строить.

Открыть поле

Простые определения терминов этой дискуссии: суперразум, выравнивание, инструментальная конвергенция и остальные.

Открыть глоссарий