Риски
Суперинтеллект
Три категории опасности, две экспертные оценки вероятности и официальный глобальный отсчёт.
Несоответствие
ИИ, оптимизирующий неправильную цель, без злобы, но с разрушительным эффектом. Достаточно способная система будет преследовать свою цель любыми доступными средствами, включая те, которые мы никогда не планировали и не предвидели.
Злоупотребление
Сверхчеловеческий интеллект в руках злоумышленников: новые виды биологического оружия, автономные кибератаки, дезинформация в масштабах цивилизации или принуждение правительств и критически важной инфраструктуры.
Концентрация власти
Одна компания, государство или ИИ получает неконтролируемую власть над критически важными глобальными системами. Даже добросовестный актор с такой властью создаёт экзистенциальную угрозу человеческой свободе и самоопределению.
Вероятность того, что ИИ приведёт к вымиранию человечества в этом веке
Geoffrey Hinton Нобелевская премия по физике 2024 · бывший вице-президент, Google · 2023Вероятность катастрофы цивилизационного масштаба от ИИ
Dario Amodei Генеральный директор, AnthropicБлиже всего за 78-летнюю историю часов. Теперь риск ИИ прямо включён наряду с ядерной угрозой.
Бюллетень учёных-атомщиков · Январь 2025
«Я думаю, если эта технология пойдёт неправильно, последствия могут быть очень серьёзными. Мы хотим открыто об этом говорить. Мы хотим сотрудничать с правительством, чтобы этого не допустить.»Sam Altman
CEO, OpenAI
US Сенат · 2023
Управление
Разрыв
Суперинтеллект создаётся в гонке без финишной черты. Не существует обязательных международных правил, чтобы остановить это или хотя бы замедлить.
Глобальная политика в области ИИ, документированная ОЭСР (2025). Подавляющее большинство из них являются необязательными руководящими принципами и добровольными рамками. Никто не вводит enforceable ограничения о разработке систем сверхинтеллектуального ИИ.
в 527 раз больше строительства, чем управления.
Институт безопасности ИИ UK (ранее Институт безопасности ИИ) получил £100 млн на два года — меньше, чем крупнейшие мировые лаборатории ИИ тратят за одну неделю. (Chatham House, 2026)
"Мы создаём одну из самых transformative и потенциально опасных технологий в истории человечества, но, похоже, не можем нажать на паузу."Yoshua Bengio
Лауреат премии Тьюринга
Mila · 2023
Мы сделали
Это раньше
Международное право уже сдерживало угрозы, способные уничтожить цивилизацию. Прецеденты реальны и работали.
Договор о нераспространении ядерного оружия
191 страна подписала договор. С 1998 года не появилось ни одного нового ядерного государства. Ядерное уничтожение предотвращено уже более 55 лет, и счёт продолжается. Договор enforced IAEA с обязательными инспекциями на местах.
Монреальский протокол по веществам, разрушающим озоновый слой
Запрет химических веществ, разрушающих озоновый слой. Озоновый слой сейчас восстанавливается. ООН считает это соглашение самым успешным международным экологическим договором в истории.
Конвенция о химическом оружии
193 государства-участника. Уничтожено более 99 % заявленных запасов химического оружия. Контроль осуществляет OPCW с обязательными инспекциями на местах по всему миру.
Учёные в области ИИ подписали Заявление о рисках ИИ 2023 года, признав риск вымирания глобальным приоритетом «наравне с пандемиями и ядерной войной». Среди подписантов — Хинтон, Бенджио, Альтман и более 500 исследователей.
Center for AI Safety · 2023Страны уже предприняли конкретные шаги по снижению рисков безопасности ИИ, но обязательной международной координации по-прежнему нет.
По состоянию на 2025«Мы все в одной лодке перед лицом экзистенциальной угрозы от ИИ, поэтому все мы должны суметь сотрудничать, пытаясь её остановить.»Geoffrey Hinton
Лауреат Нобелевской премии
MIT Technology Review · 2023
Договор о
Спасите человечество
Прецедент для такой структуры уже существует. Политической воли пока нет. Вот что должно содержать обязательное международное соглашение о сверхинтеллекте.
Мониторинг вычислений
Международный надзор за оборудованием, необходимым для обучения передовых ИИ. Обучения выше заданного порога требуют обязательной проверки независимым органом по модели IAEA ядерного мониторинга.
Пороги развития
Согласованные ограничения возможностей, действующие по всему миру. Любая ИИ-система, превышающая заданные пороги, должна остановиться для обязательной независимой сертификации безопасности перед дальнейшим масштабированием или развёртыванием.
Механизмы верификации
Независимые международные инспекторы (аналог IAEA ядерных инспекторов) проводят проверки ИИ-лабораторий на месте. Доступ нельзя отказать в одностороннем порядке. Соблюдение требований обеспечивается, а не запрашивается.
Протоколы реагирования на кризис
Заранее согласованные экстренные процедуры запускаются при обнаружении признаков рассогласования или появления опасных способностей. Ни одна страна или компания не сможет заблокировать или задержать международный ответ.
Демократическое многостороннее управление
Ни одна компания, правительство или частное лицо не контролирует договорный орган. Надзор осуществляется многосторонним консенсусом, предотвращая как захват власти с помощью ИИ, так и захват любым отдельным государством.
NPT → IAEA
Обязательный с 1968 года · 191 страна · Полномочия по инспекциям на месте
CWC → OPCW
Действует с 1997 года · 193 страны · 99% запасов уничтожено
BWC
Действует с 1975 года · 183 страны · Требуется протокол верификации
"Нам нужна международная 'организация защиты человечества' для управления рисками от опасного ИИ, пока не стало слишком поздно действовать."Yoshua Bengio
Лауреат премии Тьюринга
2023