Инструменты

P(doom) Калькулятор

«P(doom)» — это вероятность того, что передовой ИИ приведёт к катастрофе для человечества. Это не одно число. В него входят пять суждений. Перемещайте ползунки, чтобы задать собственную оценку по каждому, а затем сравните результат с исследователями, ставящими риск на уровне половины или выше. Позиция Фонда проста: искусственный суперразум не следует создавать.

1. Суперинтеллект будет создан в этом веке 90%

Вероятность того, что системы ИИ превзойдут человеческие когнитивные способности в большинстве областей до 2100 года при сохранении сегодняшней конкурентной траектории.

2. Мы никогда не получим надёжный контроль 80%

Вероятность того, что мы не сможем удержать такую систему под надёжным человеческим контролем до того, как станет слишком поздно остановить её.

3. Ему дана реальная власть 85%

Вероятность того, что система будет развёрнута с доступом к критически важным ресурсам: сетям, инструментам, деньгам или физическим системам.

4. Неудача имеет цивилизационный масштаб 80%

Вероятность того, что сбой будет масштаба цивилизации, а не будет вовремя обнаружен и локализован.

5. Человечество не сможет восстановиться 90%

Вероятность того, что катастрофа станет необратимой: вымирание или утрата будущего под контролем человека.

Эта оценка — не прогноз чего-то недосягаемого. Суперразум будет построен, только если мы продолжим его строить. Остановите этот проект — и P(doom) исчезнет вместе с ним.

Как это рассчитывается

Каждый ползунок — часть оценки. Калькулятор показывает среднее геометрическое пяти процентов.

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

Поставьте все пять ползунков на 80 — получится 80. Опустите один — результат упадёт вместе с ним. Пятиэтапный продукт разложит те же входные данные к нулю: 50 % на каждом шаге дадут 3 %. Именно так Хинтон, Тегмарк или Юдковский не называют число. Среднее значение держит вас на их шкале.

В отчёте Джо Карлсмита 2021 года использовалось произведение истинных предпосылок, поэтому даже с серьёзными условными вероятностями ранняя оценка оказалась около 10 %. Считайте этот вывод вспомогательным инструментом для рассуждений.

P(doom) оценки
  • Yann LeCun
    Meta; публичные заявления    <1%
  • Средний исследователь машинного обучения
    Опрос AI Impacts среди более 2700 исследователей, 2023    ~5%
  • Joe Carlsmith
    Отчёт Open Philanthropy, 2021 (позже пересмотрен в сторону увеличения)    ~10%
  • Paul Christiano
    Исследователь выравнивания; публичные оценки    ~20%
  • Geoffrey Hinton
    Нобелевский лауреат; интервью, 2023–2025 (диапазон до ~50 %)    ~50%
  • Daniel Kokotajlo
    Бывший сотрудник OpenAI; интервью New York Times, 2024    ~70%
  • Dan Hendrycks
    Центр безопасности ИИ; публичное заявление, 2023    >80%
  • Andrew Critch
    UC Berkeley CHAI; публичные оценки, 2024    ~85%
  • Max Tegmark
    MIT; Future of Life Institute; публичные оценки    >90%
  • Connor Leahy
    Предположения; публичные оценки    90%+
  • Eliezer Yudkowsky
    MIRI; Если кто-то построит это, все умрут    >95%
  • Nate Soares
    Президент MIRI; соавтор с Юдковским    >95%
  • Roman Yampolskiy
    Университет Луисвилла; исследования в области безопасности ИИ    ~99.9%
Больше интерактивных инструментов
Все инструменты →
Сравнение
Как сравнивается риск ИИ
Викторина
Проверьте свою грамотность в сфере безопасности ИИ