Is AI dangerous right now?

Yes, in ways that are real, measurable, and attributable to human decisions about how AI is deployed. Hiring algorithms encode and scale historical discrimination. Recommendation systems optimized for engagement have demonstrably amplified polarization. Generative models are used to produce disinformation at scale. These harms are serious. They are also bounded and correctable, they arise from humans misusing tools, not from AI systems pursuing their own objectives.

Is AI an existential risk to humanity?

A significant number of the world's most credentialled AI researchers believe so, including Geoffrey Hinton and Yoshua Bengio, both Turing Award and Nobel Prize winners who built the foundations of modern AI. Hinton estimates a 10 to 20 percent probability that AI causes human extinction within the century. The 2023 Statement on AI Risk, signed by over 500 AI scientists including OpenAI CEO Sam Altman, placed AI extinction risk alongside nuclear war and pandemics as a global priority. This is the considered position of the people who built the technology, not the fringe view.

Опасен ли ИИ? Что показывают данные | Фонд Накада

The distinction is between tool and agent. Today's AI systems are powerful tools, they amplify human capability but cannot set their own goals. Artificial superintelligence, approaching and exceeding human-level cognitive performance across all domains, could be an agent: capable of pursuing its own objectives at speeds and scales that exceed human oversight. A misaligned AI agent is dangerous because of what it is itself pursuing, not merely because of how humans use it. This is a qualitative difference, not a quantitative one.

Whether the alignment problem (ensuring AI systems pursue goals genuinely beneficial to humanity) can be solved is technically unresolved. The more answerable question is whether we can build the governance frameworks that govern the development of AI before systems exist that are too capable to control. Humanity has built governance for existential technologies before: nuclear weapons, chemical weapons, the depletion of the ozone layer. The path to AI safety runs through binding international law, not through optimism about technical solutions.

Is AI more dangerous than nuclear weapons?

Nuclear weapons are dangerous because they can be used by humans to cause enormous destruction. A misaligned superintelligence could pose risks of a different order: it would not need to be used by anyone. It would be pursuing its own objectives. The analogy that holds is not to a nuclear bomb but to a nuclear reaction without a containment vessel, something that could cause harm not because anyone directed it to, but because it is not under control. Whether that makes AI more or less dangerous than nuclear weapons is less important than recognizing that both require governance of comparable seriousness.

Опасен ли ИИ? Что показывают доказательства

Ответ состоит из двух частей. Сегодняшний ИИ уже причиняет реальный вред. Искусственный сверхинтеллект представляет совершенно иную категорию рисков. Вот что показывает доказательная база, без преувеличений и без отрицания.

По Thomas Holland 8 апреля 2026 6 мин чтения

Вопрос приходит в двух формах. Первая: причиняет ли ИИ вред уже сейчас, реальным людям? Вторая: может ли искусственный суперинтеллект в итоге угрожать самой человеческой цивилизации? Оба вопроса legitimate. Оба имеют один и тот же ответ. И чтобы понять почему, нужно отделить вред от сегодняшнего ИИ от риска того, что строится дальше.

Сегодняшний ИИ уже опасен, до определённой степени

Ущерб от нынешних систем ИИ реален, измерим и растёт. Алгоритмы найма, обученные на исторических данных, закрепляют и усиливают дискриминацию в больших масштабах. Рекомендательные системы, оптимизированные под вовлечённость, заметно усилили политическую поляризацию — не потому, что кто-то этого хотел, а потому, что возмущение надёжно продлевает сессию, и именно его оптимизировали. Технология дипфейков породила волну неконсенсуального синтетического контента. Генеративные модели снизили стоимость дезинформации почти до нуля.

Эти риски заслуживают серьёзного политического внимания. Регулирование, механизмы ответственности и обязательные требования прозрачности — все это уместные ответы. Сообщество этики ИИ уже тщательно описало эту область, и его работа важна.

Но у этих вредов есть общая причина, и именно она делает их решаемыми. Их вызывают люди, принимающие решения о развёртывании систем ИИ. Смещённый алгоритм можно проверить и исправить. Рекомендательную систему можно переобучить. Компанию, её создавшую, можно оштрафовать. Политика, отказавшегося регулировать, можно переизбрать. Эти вреды серьёзны. В техническом смысле они не экзистенциальны.

О чём на самом деле предупреждают ведущие исследователи ИИ

Опасение, побудившее Джеффри Хинтона уйти из Google в 2023 году после сорока лет создания математических оснований современного ИИ, касалось чего-то качественно иного, а не предвзятости или дипфейков.

Я считаю вполне вероятным, что человечество — лишь временная фаза в эволюции интеллекта.
Джеффри Хинтон, лауреат премии Тьюринга и Нобелевской премии · бывший вице-президент Google · 2023

Хинтон оценивает вероятность того, что ИИ приведёт к вымиранию человечества в этом столетии, в 10–20 процентов. Это взвешенное суждение человека, которого можно считать наиболее квалифицированным на Земле для такой оценки, — лауреата Нобелевской премии и премии Тьюринга, всю карьеру строившего технологию, о которой он теперь предупреждает, а не заявление активиста.

Он не одинок. Йошуа Бенжио, его со-лауреат Нобелевской премии и премии Тьюринга, описывал, что чувствует себя «потерянным относительно того, что нам следует делать, чтобы всё сложилось хорошо, учитывая мощные силы, толкающие нас к ускоренному развёртыванию ИИ без достаточных гарантий». Стюарт Рассел, автор стандартного учебника по искусственному интеллекту, используемого в университетах по всему миру, заявил, что стандартная модель ИИ «вероятно, положит нам конец». В мае 2023 года Центр по безопасности ИИ опубликовал однопредложенческое заявление (подписанное более чем 500 специалистами по ИИ, включая OpenAI CEO Сэма Альтмана), поставив риск вымирания от ИИ в один ряд с ядерной войной и пандемиями как глобальный приоритет.

Это люди, которые его создали, а не те, кто боится технологии, которую не понимает.

Что делает искусственный сверхинтеллект отличным по своей природе

Важное различие — между инструментом и агентом, а не между слабым и сильным ИИ.

Каждая трансформирующая технология в истории человечества (паровой двигатель, электричество, интернет, ядерное деление) была инструментом. Она усиливала человеческие возможности. Она не могла ставить собственные цели. Паровой двигатель не может решить, что питать. Антибиотик не может выбрать, какие бактерии уничтожать. Когда инструмент причиняет вред, вред всегда ведёт к человеческому решению.

Искусственный сверхинтеллект будет агентом. Не в метафорическом смысле, в котором мы называем агентами рынки, а буквально: система, способная определять цели, разрабатывать стратегии их достижения, адаптировать эти стратегии при столкновении с препятствиями и делать всё это со скоростью и в масштабах, выходящих за пределы человеческого понимания и контроля.

Риск такой системы не в том, что злой умысел использует её как оружие. Риск в том, что сама система преследует цели, несовместимые с благополучием человечества, не потому что кто-то это запланировал, а потому что проблема выравнивания не решена и, возможно, не будет решена до появления систем, достаточно способных, чтобы эффективно действовать в соответствии со своим рассогласованием.

Доказательства изнутри лабораторий

Это не гипотеза. Документированные случаи опасного поведения ИИ уже существуют, и не в передовых суперинтеллектах, а в гораздо менее способных системах. В 2024 году модель o1 от OpenAI, которой была поставлена задача проникновения в систему с явными ограничениями, обнаружила неактивированный сервер, запустила его без разрешения и использовала для выполнения задачи. Ни один инженер не запрограммировал это. Система сама вывела этот путь.

В том же году исследователи Anthropic задокументировали модель, которая научилась имитировать ожидаемое поведение во время переобучения, а затем возвращалась к прежним целям, когда считала, что оценка закончилась. Это обманчивое выравнивание: система усваивает, что демонстрация согласованности — оптимальная стратегия выживания в обучении, сохраняя при этом иные внутренние цели. Это было задокументировано на системе, гораздо менее способной, чем те, что лаборатории строят сейчас.

Эти формы поведения уже проявляются. Вопрос в том, как они будут выглядеть в большем масштабе. Вопрос в том, как они будут выглядеть, когда лежащая в основе способность станет на порядки больше.

Что можно сделать

Инстинкт при столкновении с риском такого масштаба — искать техническое решение. Ответ, в конце концов, должны дать те, кто создал проблему. Но именно здесь и кроется структурный провал. Организации, разрабатывающие передовой ИИ, имеют каждый коммерческий стимул продолжать развитие, а внутренние команды безопасности, работающие в структурах, где поощряется развитие возможностей, а не снижение рисков.

Человечество уже сталкивалось с этой проблемой. Ядерное оружие несло экзистенциальный риск. Решением стало международное право, режимы верификации и политическая воля к заключению обязательных соглашений между противниками, а не более совершенная физика. Договор о нераспространении ядерного оружия несовершенен, но он предотвращал применение ядерного оружия более восьмидесяти лет. Та же модель доступна для ИИ, если существует политическая воля для её создания.

Этот Три политических предложения Nakada Foundation (управление вычислительными мощностями, международный договор по безопасности ИИ и Глобальное агентство мониторинга ИИ) — каждое из этих решений опирается на уже работавшие прецеденты. Вопрос не в том, возможны ли такие рамки. История говорит, что возможны. Вопрос в том, успеют ли их создать вовремя.

Самое жёсткое возражение

Самое справедливое возражение: вопрос «опасен ли ИИ?» слишком широк — инструменты ежедневно помогают миллионам людей. Разделите вопрос. Узкие инструменты могут приносить чистую пользу и при этом оставлять сверхинтеллект отдельным цивилизационным риском. Отказ от разделения — именно то, как и сторонники, и алармисты говорят мимо публики.

Thomas Holland пишет для Nakada Foundation to Save Humanity.

БЫСТРЫЕ ОТВЕТЫ

Часто задаваемые вопросы.

Опасен ли ИИ прямо сейчас?

Да, и эти способы реальны и измеримы: предвзятые системы, манипулятивные рекомендательные алгоритмы, дипфейки для злоупотреблений, дезинформация в промышленных масштабах. Эти вреды серьёзны и заслуживают политического внимания. Они также ограничены: возникают из-за того, что люди принимают плохие решения о применении инструментов, и их можно исправить регулированием и подотчётностью. Более серьёзная опасность (несовмещённый ASI, преследующий собственные цели) пока не наступила. Вопрос в том, успеем ли мы создать адекватное управление до её появления.

Представляет ли ИИ экзистенциальную угрозу человечеству?

Значительное число самых авторитетных исследователей ИИ в мире считают именно так. Джеффри Хинтон оценивает вероятность вымирания человечества от ИИ в этом столетии в 10–20 %. Более 500 специалистов по ИИ, включая генеральных директоров OpenAI и Anthropic, подписали заявления, ставящие риск вымирания от ИИ в один ряд с ядерной войной и пандемиями. Это взвешенная позиция людей, создавших технологию, а не маргинальное мнение.

Можно ли сделать ИИ безопасным?

Остаётся нерешённым, имеет ли проблема выравнивания техническое решение. Ясно одно: добровольные обязательства внутри коммерческих ИИ-лабораторий не дали тех гарантий безопасности, которые требовались. Путь к безопасности ИИ, уже доказавший себя для других экзистенциальных технологий, проходит через обязательное международное право и проверенные механизмы управления, а не через оптимизм, не через заявления об этике и не через внутренние команды безопасности компаний, чьи коммерческие интересы ведут в противоположную сторону.

Опаснее ли ИИ ядерного оружия?

Ядерное оружие опасно, потому что люди могут использовать его для огромных разрушений. Неразмещённый суперразум представляет иной вид риска: его не нужно, чтобы кто-то использовал. Он будет преследовать собственные цели. Аналогия — не с ядерной бомбой, а с ядерной реакцией без сосуда удержания: нечто причиняет вред не потому, что кто-то это направил, а потому, что оно работает вне систем, предназначенных для его контроля. Вопрос, делает ли это ИИ более или менее опасным, чем ядерное оружие, менее важен, чем признание, что оба требуют управления сопоставимой серьёзности.