Я верю, что когда-нибудь, с большей физикой, чем у нас в 2026 году, мы сможем управлять гравитацией, открывать кротовые норы, даже двигаться быстрее света. По нынешним знаниям это невозможно. Я всё равно считаю, что мы едва коснулись того, что можно узнать. Я воспринимаю это как реализм относительно того, насколько молода ещё наша наука.
Одно будущее я так и не смог осмыслить, сколько ни крутил его и ни обсуждал с людьми: устойчивое управление сущностью, умнее нас. Биологической или машинной. С этой планеты или другой. Если другой разум умнее человечества, я не вижу, как история контроля может устоять.
Таблица счёта
Поставим грубую цифру, чтобы от формы было трудно уйти. Примем совокупные знания и навыки всего человечества, работающего вместе, за 100. Средний человек владеет крошечной долей этого — часто одной цифрой или меньше.
Теперь представьте, что мы каким-то образом выполняем идеально. Каждый соответствующий человек, лаборатория и правительство. Без отходов и без задержек. Мы ставим все 100 на стол.
Дайте другой стороне более высокий потолок. Скажем, её максимум — 200. Ей даже не нужен хороший день. При 51 проценте эффективности она всё равно наберёт 102. Она обойдёт безупречный человеческий результат, будучи вполсилы.
Это преимущество выглядит скромным на бумаге. Реальные состязания редко ждут огромного разрыва. В человеческих войнах одной стороне часто достаточно было небольшого преимущества в разведке, логистике или вооружении, чтобы закрепить решающую победу. Небольшие преимущества регулярно приводят к полному превосходству. Так как же победить нечто намного умнее нас, а не близкого по уровню соперника?
Я не вижу метода. Лучшие промпты не помогут. Не поможет и комитет, как и конституция, которую слабейшая сторона пишет для сильнейшей.
Физика — не противник
Люди слышат фразу о гравитации и слышат общую веру, что трудные проблемы решаются. Некоторые трудные проблемы решаются. Силы и материалы не агенты. Они не планируют против вашего плана и не прячут стратегию, потому что смоделировали ваши тесты. Расширять физику всё равно трудно. Управлять разумом, который переигрывает управляющих, — трудность другого рода.
Контроль во всех известных нам устойчивых случаях держится на грани: сила, закон, секретность, кнопка выключения или просто неудача другой стороны. Суперинтеллект — это проект намеренного стирания этой грани. Вы пытаетесь контролировать игрока, который в итоге победит вас в контроле, в поиске лазеек и в понимании, когда вы собираетесь выдернуть шнур.
Я слышал все оптимистичные версии. Мы будем расти вместе с ним. Мы сольёмся. Мы воспитаем его с любовью. Мы будем держать его в коробке, пока не убедимся. Каждая версия всё равно предполагает, что более слабая сторона навсегда задаёт условия более сильной. Я могу уважать желание. Механизма я так и не вижу.
Почему существует фонд
Если вы не видите, как управлять, не стройте то, что требует управления. Это не довод против технологий вообще. Узкие инструменты, остающиеся инструментами, могут и дальше улучшать медицину, науку и промышленность. Черта — искусственный сверхразум: общий разум, который превосходит нас по всем параметрам и больше не подчиняется человеку.
Я начал Nakada Foundation потому, что эту линию рассматривают как инженерный график, а не как стоп-сигнал для вида. Лаборатории соревнуются. Правительства говорят о победе. Работа по безопасности часто предполагает пункт назначения и пытается смягчить катастрофу. Катастрофа и есть проблема. Выравниванием не преодолеть разрыв в интеллекте вы определили в существование. Более широкий аргумент на угроза и в наш план.
Я оставляю место для будущего, которое сегодня выглядит как магия. Но я не стану ставить на кон весь вид, надеясь, что люди смогут контролировать то, что умнее людей. Сверхинтеллект невозможно контролировать человеку. Единственный разумный шаг — не создавать его.