"Если мы прекратим строить суперинтеллект, это сделает кто-то другой." Эта фраза останавливает разговор в сотне кабинетов. Она звучит как география и теория игр. Часто она не то и не другое. Часто это способ продолжать строительство, называя его неизбежным. Попробуйте ту же конструкцию с технологией, с которой мы уже справились. "Если мы прекратим делать холодильники на фреоне, кто-то другой просто продолжит их делать."
Да. Они продолжали делать холодильники. Они перестали использовать химикат, который открывал дыру в небе.
Два разных существительных
Холодильник — это услуга: холодная еда, вакцины, меньше порчи. Хлорфторуглероды были одним из способов получить эту услугу, и катастрофическим для озонового слоя, когда химия стала ясна Монреальский протокол не запретил холод. Он запланировал поэтапный отказ от веществ, наносящих ущерб, профинансировал альтернативы для бедных стран и подкрепил соглашение торговым давлением. Промышленность утверждала, что отказ невозможен. Холодильники остались. ХФУ ушли.
Риторика сверхинтеллекта сливает два понятия в одно. «ИИ» становится единой массой, включающей модели для лечения рака, планировщики маршрутов и гипотетического агента, умнее человеческого вида. Если вы отвергаете последний пункт, лозунг утверждает, что вы отвергли и первые, и кто-то менее щепетильный выпустит всё вместе. Ход состоит в том, чтобы выдать яд за сам продукт, чтобы удаление яда звучало как война против продукта.
Мы не спасли озоновый слой, пообещав сначала создать дыру. Мы сохранили холодильник и отказались от химиката.
Для чего нужно «кто-то другой сделает»
Соперничающая лаборатория или конкурирующее государство могут попытаться тренироваться по любой линии, которую вы проводите. Эта возможность вполне реальна для планирования. Также была изобретена возможность контроля над вооружениями. Ответ на вопрос «кто-то другой может создать ядерную бомбу» был не «тогда мы должны бесконечно испытывать». Это была проверка, удушающие точки на расщепляющемся материале и последствия для прорыва.
Вычислительные мощности сложнее урана, и никто серьёзный этого не отрицает. Тем не менее они физичны, дороги на передовом уровне и проходят через короткий список производителей чипов, фабрик и облачных регионов. Этого достаточно, чтобы выстроить на этом инспекции, поэтому управление вычислениями фигурирует в каждом серьёзном наброске договора. «Кто-то другой сделает» пропускает эту работу и сразу переходит к разрешению.
Обратите внимание, кому выгодно такое упрощение. Если сдержанность подаётся как односторонняя капитуляция, то единственная взрослая позиция — это полный разгон. Инвесторы слышат судьбу. Сотрудники по безопасности слышат, что замедление — наивность. Лозунгу не нужно выигрывать спор о механизмах. Ему достаточно сделать третий вариант — совместное сдерживание — выглядеть детским.
Холодильник никогда не был врагом
Мы хотим узкий ИИ, который ставит диагнозы, разрабатывает лекарства и находит дефекты в мостах. Скажите это прямо, чтобы клевета не прилипла. Позиция фонда — отказ строить системы, которые превосходят и заменяют человеческий контроль пока проблема контроля не решена.
Это ближе к «использовать другие хладагенты», чем к «запретить холодное хранение». Те, кто стирает разницу, прикрывают популярностью полезного ИИ способность, которая не останется инструментом.
Чему на самом деле учит борьба за озон
Монреальский протокол сработал, потому что наука зазвучала громко, существовали заменители, а отказники сталкивались с торговыми издержками. Со сверхинтеллектом сложнее найти заменители «стратегического доминирования», но есть и облегчающее обстоятельство, которое игнорирует лозунг: ни одна крупная держава не имеет последовательного интереса в системе, которая не остаётся под чьим-либо контролем. Общая уязвимость — исходный материал для соглашения. Мы подробнее развиваем этот аргумент на сайте Миф о Китае странице и в миф о гонке эссе. Коротко говоря, страх перед соперником может финансировать договор так же легко, как и гонку, как только станет видна пустота финиша.
Спросите, какое именно существительное они имеют в виду. Полезный ИИ под запрет не попадает. Неконтролируемый сверхинтеллект — попадает. Для второго существительного риск дефекции — это повод создавать механизмы принуждения, а не повод дефектировать первым. Холодильники продолжали работать. Небо восстановилось, потому что люди умели различать.