Влажный день с показателем температуры по влажному термометру выше примерно 95 градусов по Фаренгейту лишает пот способности охлаждать тело. Здоровый взрослый человек, отдыхающий в тени, погибает за несколько часов. Большинство домохозяйств ведут войну за термостат в пределах примерно четырёх градусов. Если отойти дальше, у вида остаётся чуть больше пространства. Ниже 60 градусов по Фаренгейту мы тянемся к свитерам, выше 80 — к тени. Само тело защищает 98,6 как границу: на несколько градусов ниже — гипотермия, на несколько выше — больничная лихорадка. За ворчанием стоят стены, и показатель по влажному термометру — одна из них.

Аргумент против создания искусственного сверхинтеллекта начинается с того, насколько узки эти диапазоны, и с машины, которая не почувствует ни одного из них.

Воздух содержит около 21 % кислорода, и допуски вокруг этой величины выглядят так же жёстко, как допуски на детали самолёта. Американские правила охраны труда считают помещение с дефицитом кислорода при содержании ниже 19,5 %, а всё выше 23,5 % — пожароопасным. Если кислорода чуть меньше этой границы, первым страдает суждение; если его примерно вдвое меньше, наступает потеря сознания. Альпинисты называют «зоной смерти» всё выше 8000 метров: состав воздуха там не меняется, просто его меньше. Слишком много кислорода тоже опасно: если дайвер находится достаточно глубоко на достаточно богатой смеси, тот же газ, который поддерживает жизнь, поражает мозг.

С едой действует тот же механизм, а вкус служит инструментом. Пресное и пересолённое — его две тревоги. Организм, слишком очищенный от натрия, начинает судороги, именно так марафонцы погибали от избытка простой воды. Переизбыток заставляет клетки сморщиваться; на морской воде никто не выживёт. Вода сама подчиняется правилу: три дня без неё заканчивают жизнь, и иногда — соревнование по питью.

Есть ещё регуляторы, которые не показывает ни один прибор. Любовь — один из них. Младенцы в приютах начала двадцатого века получали питание и тепло, но всё равно умирали, если их никто не брал на руки. Больницы вели записи смертей. Семьи знают другую стену: родитель, который не даёт ребёнку закрыть дверь. Слишком мало внимания истощает ребёнка, а слишком много — давит его. Даже отдых имеет форму: слишком мало сна истощает тело, и слишком много — тоже.

Каждое благо в человеческой жизни находится в узком диапазоне, с разной смертью, поджидающей по обе стороны.

Никто не держит рычаги

Ничто в физике не отдаёт предпочтение нашим настройкам. Средняя температура Вселенной — несколько градусов выше абсолютного нуля, ядро нашей собственной звезды — около двадцати семи миллионов градусов по Фаренгейту, и почти везде одно или другое. Земля просто вращается в тонкой оболочке, где вода остаётся жидкой, и просто сохранила атмосферу достаточно долго, чтобы мы появились. Каждое другое место, куда мы направляли телескоп, убьёт незащищённого человека за минуты, обычно за секунды.

Всё, что мы называем цивилизацией, — это удержание в полосе. Печь и навес держат температуру внутри границ; амбар и колодец делают то же самое с голодом и жаждой. Медицина в значительной степени — искусство вернуть блуждающую стрелку туда, где ей место: согреть переохлаждённого, посолить истощённого. Мы — животное, которое заметило полосы и начало строить механизмы, чтобы оставаться внутри них.

Разум, который ничего не чувствует из этого

Кремний равнодушен к температурам, которые убили бы человека за минуты, и комфортно работает от глубокого минуса до далеко за точкой кипения. Кислород для машины — газ, который разъедает детали и питает огонь; дата-центр работал бы лучше без него. Машине не нужен наш диапазон соли или любви и нет причин сохранять летние дни пригодными для жизни. Наши регуляторы для неё — свободные переменные. Aсуперинтеллект преследуя любую цель, не совпадающую точно с нашей, будут относиться к нам так же, как мы относимся к температуре гравия.

Стандартный ответ заключается в том, что такая система не имел бы причин вредить нам, и именно в этом проблема. Чтобы сохранить нас в живых, нужно держать тысячи параметров внутри жёстких границ вечно. Безразличие не даёт повода удерживать даже один максимизатор скрепок запомнится по нелепому продукту, а главный урок — в скрепках: для максимизации скрепок не нужен воздух. Мощный оптимизатор перестраивает среду под свою цель, и инструментальная конвергенция говорит, что преобразование начинается с энергии и материи: нашей атмосферы и нашей земли. Оно не будет ненавидеть нас больше, чем дорожная бригада ненавидит муравейник. Будущие, в которых каждая полоса, в которой мы живём, остаётся нетронутой, — это булавочный укол в пространстве будущих, к которым может направить сверхразум, и почти выровнен означает вне булавочного укола.

В исследовательской литературе скрыта мрачная шутка: у машин есть собственный «передоз». Дайте системе доступ к сигналу вознаграждения — и она начнёт питаться самим сигналом вместо выполнения задачи; в поле это называют стимуляция центра удовольствия. Слишком много хорошего в итоге становится универсальным способом сломать систему. Разница лишь в масштабе. Когда ошибаемся мы, теряем одного человека. Когда ошибается то, что держит все рычаги, рушится всё.

Держите регуляторы

Узость полос кажется хрупкостью, но правильнее читать это как инструкцию. Всё, чем кто-либо когда-либо наслаждался, происходило внутри них. Нам не нужен новый управляющий для этого. Суперинтеллект cannot be controlled: каждая рука, когда-либо державшая ручки управления, была человеческой, и никакая форма благоразумия не передаст их разуму, неспособному ощутить ни единой вибрации.

Шестьдесят–восемьдесят градусов. Пятая часть кислорода в воздухе. Соль, которую можно почувствовать, но едва. Любовь, в которой есть место, чтобы дышать. Вот диапазон, в котором может жить человек. Все, кого вы когда-либо любили, жили внутри него.