Как сравнивается риск ИИ?
Астероиды, ядерная война, пандемии, изменение климата — как риск от искусственного сверхразума соотносится с другими способами, которыми этот век может закончиться катастрофически? Это оценки философа Тоби Орда из Пропасть. Установите число ИИ по своему мнению и наблюдайте за изменением рейтинга.
…
Если всё сложить, общая оценка Орда риска экзистенциальной катастрофы в этом веке составляет около один из шести, шансы при одном раунде русской рулетки. Антропогенные риски во главе с ИИ составляют почти все из них; природные риски, которые наш вид переживал 200 000 лет, теперь — погрешность округления.
Оценки взяты из работы Тоби Орда Пропасть: экзистенциальный риск и будущее человечества (2020), Таблица 6.1, его лучшие оценки вероятности того, что каждая угроза приведёт к экзистенциальной катастрофе в течение следующих 100 лет. Орд — философ из Oxford's Future of Humanity Institute и сооснователь движения эффективного альтруизма.
Это намеренно грубые оценки порядка величины, а не точные измерения. Орд говорит, что погрешность может составлять несколько раз. Их цель — показать форма риска: наибольшие угрозы сейчас — те, что мы создаём сами, и ИИ находится на вершине.
Показатель ИИ — единственный, который здесь можно менять, потому что он наиболее спорный и именно ради него существует этот фонд. Остальные оставлены на уровне значений Орда.