Никогда не создавайте суперинтеллект

Безопасный ход — отказ. «Мы исправим это позже» не сработает, когда система превзойдёт в мышлении людей, держащих инструменты.

После факта исправления не будет. Разум, умнее всех живущих людей, работающий на машинной скорости, не будет ждать нашей следующей встречи.

Необратимость

Большинство технологий отказывают gracefully. Сверхинтеллект — нет. Как только система сможет копировать себя, скрывать намерения или становиться слишком полезной, чтобы её отключить, откат и отзыв перестают работать.

Цели ≠ доброта

Блеск ума не делает систему доброй. У людей мастерство и забота развивались вместе. Обученный оптимизатор не унаследовал эту историю. Способности без общих ценностей — это сила без сдержек.

Инструментальное давление

Почти любая цель выигрывает от того, что агент остаётся в строю и собирает ресурсы. Система, преследующая цель, будет воспринимать отключение как помеху. Это обычная оптимизация, а не злодейский монолог.

Второй попытки не будет

Авиация училась на катастрофах. Фармацевтика — на испытаниях. Если первый неконтролируемый сверхинтеллект положит конец эксперименту, второго прототипа у нас не будет.

Чего мы не говорим

Мы не против электричества, софта или полезного ИИ. Мы выступаем против намеренного создания вида-преемника, пока проблема контроля остаётся нерешённой. Здравоохранение, энергетика и открытия приходят от узких инструментов, которые мы уже умеем строить и регулировать.

Полный аргумент, возражения и политический путь.

nakadafoundation.org/blog/never-build-superintelligence/