Предотвращение, а не пауза
Временное замедление возвращает кнопку перезапуска той же гонке. Мы хотим постоянный запрет. Суперинтеллект невозможно контролировать.
Пауза
Замедлить лаборатории на несколько лет. Надеяться, что безопасность успеет догнать по расписанию. Потом возобновить. Сверхразум остаётся целью. Меняется только таймер.
Предотвращение
Запретить системы, превышающие порог общих способностей. Без планового возобновления. Запрет действует, пока никто не сможет контролировать разум, превосходящий своих создателей.
Не существует проверенного метода контроля
Не в малом масштабе. Не в большом. Об этом открыто заявляют ведущие лаборатории. Пауза, рассчитанная на то, что согласование успеет завершиться вовремя, — ставка без какой-либо методики.
Узкий ИИ продолжает развиваться
Лекарства, модели погоды, промышленные оптимизаторы, инструменты для программирования. Системы без открытой повестки остаются легальными и финансируемыми. Граница проходит вокруг автономного общего разума, а не вокруг ИИ в целом.
Договоры уже работают таким образом
Договор о нераспространении ядерного оружия не приостанавливает бомбы на пять лет. Он ограничивает круг тех, кто может их создавать, и вводит инспекции. То же самое получили химическое оружие и озоноразрушающие вещества. Суперинтеллект нуждается в праве такого же масштаба.
Правительства должны запретить искусственный суперинтеллект в рамках проверяемого международного договора. Суперинтеллект невозможно контролировать человеку, поэтому запрет должен быть постоянным.