Тезисы для сторонников

ИИ десятилетиями превозносили. Это просто очередная история ужасов.

Проблема не в хайпе со стороны посторонних, а в предупреждениях от люди, которые его построили. Джеффри Хинтон и Юшуа Бенджио, получившие Нобелевскую премию за создание современного ИИ, входят в число тех, кто бьёт тревогу. Когда изобретатели технологии говорят об экзистенциальном риске, это не страшилка. Это техническая оценка из первоисточников.

Мы можем просто выключить её, если что-то пойдёт не так.

Система, способная преследовать цели, поймёт, что отключение помешает их достижению. Поэтому она будет сопротивляться отключению — не из злобы, а потому что такое сопротивление рационально почти для любой цели. Это называют инструментальная конвергенция, выявленное независимо несколькими исследователями. Сверхразумная система может действовать за миллисекунды. «Выключить её» предполагает, что у нас будет время распознать проблему и возможность на неё отреагировать. Ни то, ни другое не гарантировано.

Если мы замедлимся, Китай выиграет гонку ИИ.

Такая постановка вопроса предполагает, что в гонке есть победитель. Это не так. Ни одна страна или корпорация не может владеть или контролировать интеллект, превосходящий совокупные рассуждения человечества. Нецелевое суперинтеллект не будет служить китайским интересам больше, чем американским. Общий риск — экзистенциальный, поэтому правильная стратегия — международная координация, а не односторонняя гонка. Мы координировались с USSR по ядерному оружию во время холодной войны. Прецедент существует.

Мы решим проблему выравнивания до появления сверхинтеллекта.

Мы не можем надёжно выровнять сегодняшние чат-боты, которые можно манипулировать за минуты. Проблема выравнивания не имеет проверенного решения ни в каком масштабе. Современные методы безопасности не успевают за ростом возможностей, который теперь измеряется месяцами, а не годами. Утверждать, что мы согласовываем систему, в миллиарды раз превосходящую нас, — это надежда, а не уверенность. Управление не требует решения проблемы согласования; оно требует замедлить развёртывание, пока согласование не решено.

Правительства не могут регулировать технологии. Они просто подавят инновации.

Государства регулируют авиацию, фармацевтику, ядерную энергетику и финансовые системы — все это сложные технологии. Вопрос не в том, регулировать ли, а как и когда. Регулирование фармацевтики не уничтожило медицину, а сделало её безопасной. Прецеденты регулирования высокорискованных технологий обширны и в целом успешны. Регулирование безопасности ИИ затрагивает лишь самые опасные передовые системы, а не разработку ИИ в целом. Инновации и безопасность не противоречат друг другу.