Open Philanthropy, 80,000 Hours и исследовательская линия, прошедшая через Future of Humanity Institute, сделали то, от чего большинство институтов до сих пор отказываются. Они отнеслись к искусственному сверхинтеллекту как к правдоподобному концу человеческой истории и направили на это реальные деньги и таланты. В отношении самого риска они были первыми и оказались правы.
Ошибка портфеля — в следующем выводе. Из «это может навсегда ограничить будущее человечества» доминирующий ответ лонгтермистов стал: финансировать технические исследования согласования, финансировать управление ASI, замедляющее или направляющее фронтир, и сохранять возможность построить системы, когда они будут выглядеть безопаснее. Это также неверный план для риска, который они верно назвали.
Почему выравнивание выглядело как рычаг
Масштаб, neglectedness и tractability по-прежнему важны. Не согласованный суперинтеллект может повлиять на каждого живущего человека и на все последующие поколения. Годами почти никто из обладающих властью не рассматривал это как реальную возможность. Техническая работа над неправильной спецификацией целей, обманом и надзором выглядела одним из немногих рычагов, способных повысить шансы на хороший исход, если мощные системы всё-таки появятся. Односторонние остановки лабораторий казались безнадёжными в условиях конкуренции. Поэтому ответственный портфель включал науку выравнивания, политику, покупающую время, и осторожное влияние внутри лабораторий и правительств, которые в любом случае будут строить эти системы.
Я принимаю большинство посылок. Ущерб носит цивилизационный характер. Тема долго оставалась без внимания. Часть технической работы по безопасности систем, которые мы ещё можем инспектировать и отключать, — это обычное инженерное дело. Конкуренция лабораторий и государств делает стратегию «одна компания отказывается» слабой. Ничего из этого не выглядит карикатурно, и пренебрежение людьми, кто первым отнёсся к риску серьёзно, — пустая трата времени.
Где ломается вывод
Суть в тихом предположении, что конечная точка уже задана. Если сверхинтеллект всё равно придёт, то остаётся лишь одна задача — сделать его появление менее смертельным. Финансирование выравнивания, оценки и «ответственное масштабирование» имеют смысл только при таком допущении. Они становятся главным моральным проектом поколения, которое считает, что не может выбрать конечное состояние. Большая часть денег и престижа по-прежнему уходит на то, чтобы сделать гонку безопаснее, а не на то, чтобы остановить гонку к ASI.
Цель не задана заранее. Цели такого рода выбирают. Ядерное оружие, химия озона и клонирование человека — каждый из этих случаев имел момент, когда правительства решили, что определённые конечные состояния не стоят остаточного риска. Сверхинтеллект должен навсегда остаться в этом списке. Сверхинтеллект не может контролироваться людьми.
Как только вы отказываетесь от предположения неизбежности, портфель выглядит иначе. Ограниченный капитал безопасности, потраченный на то, чтобы гонка казалась управляемой, — это капитал, не потраченный на прекращение гонки. Управление, которое лишь замедляет фронтир, чтобы лаборатории могли «догнать по безопасности», по-прежнему считает создание неконтролируемого разума планом. Работа по выравниванию, предполагающая, что мы создадим вид-преемник, а потом его обуздаем, путает исследовательскую программу со стратегией выживания.
Они правильно вели бухгалтерскую книгу, но ошиблись с пунктом назначения.
Исследования после остановки, а не вместо неё
Я не призываю сжигать всю область. Работа, которая делает сегодняшние системы прозрачнее, сложнее для злоупотреблений или проще для отключения, всё ещё может иметь значение. После проверенной остановки на пути к суперразуму исследования по контролю над мощным ИИ смогут продолжаться без коммерческого секундомера, приставленного к риску вымирания. Последовательность — вот весь аргумент.
Что не работает — это считать техническое согласование главным ответом, пока передовые лаборатории продолжают масштабирование по тому же календарю. Это перевёрнутая постановка проблемы. Когда вы не можете контролировать негативные последствия, а негативные последствия касаются всех, ответственный шаг перестать строить опасную вещь. Суперинтеллект невозможно контролировать. Узкий ИИ продолжает развиваться. Узкий класс систем, способных превзойти человеческий интеллект во всех областях, — не продолжает.
Согласен с приоритизацией долгосрочных рисков в рамках ASI. Не согласен, что рецепт — это увеличение бюджета на выравнивание и тщательно управляемая гонка. Рецепт — это предотвращение по жёсткому закону: постоянный отказ от создания. Сверхразум невозможно контролировать человеку. Временное замедление, чтобы безопасность успела, — это ставка на расписание, которая предполагает, что кто-то изобретёт проверенный способ контролировать разум, умнее своего создателя, вовремя и под давлением конкуренции. Такого метода нет. Ни в малом масштабе, ни в большом. Ведущие лаборатории сами об этом говорят публично.
Люди часто относят предотвращение к «паузе». Пауза — это несколько лет передышки, а затем возобновление. Это не то, что просят. Мы хотим, чтобы государства запретили искусственный суперинтеллект и сохраняли этот запрет навсегда. Суперинтеллект невозможно контролировать. Договор — это выход из гонки.
Что вместо этого должны делать деньги
Переориентируйте работу по выравниванию для ASI на задачи, делающие отказ от создания enforceable: разработку договоров и механизмов верификации, управление вычислениями на уровне чипов с возможностью инспекции, публичное объяснение цели, работу с инсайдерами и прозрачность, повышающую цену скрытых скачков возможностей, а также политическую организацию, чтобы законодатели слышали избирателей, а не только лоббистов лабораторий. Я подробно описал перенаправление финансирования. Коротко говоря, приоритет. Финансируйте решение не строить его.
Долгосрочничество заслужило признание за то, что назвало риск, который большинство элит до сих пор считают научной фантастикой. Заслуга в диагностике не закрепляет рецепт. Тот же риск. Другой план. Запретить сверхразум по закону. Сохранить инструменты, которые помогают людям. Оставить мечту о тщательно управляемом боге на полке, пока мир не договорился не создавать его в темноте.