Я веду бизнес. Я люблю рынки. Цены, конкуренция и право попробовать что-то новое улучшили жизнь обычных людей сильнее, чем любой пятилетний план, который я читал. Я хочу жёсткой остановки искусственного сверхинтеллекта. Я веду аргумент капиталиста, и он начинается с различия, которое обычный рыночный лозунг обычно пропускает.
Рынки отлично распределяют капитал, когда последствия плохой ставки локальны. Ресторан закрывается, и арендодатель сдаёт помещение заново. Гаджет проваливается, и инвесторы списывают убыток. Даже банк, который переусердствовал, в работающей системе можно санировать, не уничтожая вид. Убыток остаётся внутри круга, который мы можем очертить.
Сверхинтеллект — это не такая ставка. Люди, которые его создают, публично заявляют, что не знают, как контролировать систему, умнее их самих во всех областях. Гонка за то, чтобы первой выпустить такую систему, — это не «созидательное разрушение». Это гонка за то, чтобы сделать одну необратимую ставку, где ставка — каждая человеческая жизнь. Капитализм без защиты от таких ставок — это русская рулетка на фабрике, производящей всё больше патронников, а не капитализм.
Аргумент в пользу гонки вперёд
Инновационные соединения. Каждый год задержек стоит лечение, научный прогресс и национальные преимущества. Правительства неуклюжи. Утечка договоров. Если одна страна замедляется, соперника не будет, а осторожная партия проигрывает дважды: ни лидерство, ни безопасность. Единственный реалистичный путь - строить быстрее, чем все остальные, держать лидерство в дружеских руках и фиксировать выравнивание по пути.
Это аргумент, который приводят, когда не посчитали цену продукта. Лидерство имеет смысл, только если вы всё ещё владеете тем, что построили. Несогласованный суперинтеллект — агент, который превосходит людей, подписавших инвестиционный раунд: не портфельная компания, которой можно управлять через совет директоров, и не ракета, которую можно навести. Оказаться первым, если не можешь управлять, — значит быть заменённым первым. Выхода нет. После вымирания не будет серии B.
Что на самом деле нужно капиталу
Капиталу нужен мир, который продолжается. Ему нужны суды, собственность, клиенты и будущее, в котором контракт всё ещё что-то значит. Технология, способная положить этому конец, — это не «просто очередная платформа». Относиться к ней как к потребительскому приложению только потому, что демо выглядит как окно чата, — категорийная ошибка с человеческими жертвами.
Я не призываю рынки прекратить изобретать. Узкий ИИ, который диагностирует болезни, проектирует материалы и ускоряет логистику, — именно тот прогресс, которого я хочу больше. Черта — суперразум: системы, построенные так, чтобы превосходить человеческое мышление во всех областях, когда мы всё ещё не можем проверить, что их цели остаются совместимыми с нашими. Провести эту черту — значит сохранить остальную экономику живой достаточно долго, чтобы она продолжала расти.
Рынок — это машина для превращения риска в прогресс. Это не пакт о самоубийстве. Отказ от одного класса ставок — это то, как игра продолжается.
Регулирование как инфраструктура
Когда люди слышат слово «регулирование», они представляют бумажную волокиту для стартапа. Это понятно, если правило глупое. Правила, о которых идёт речь, больше похожи на те, что в своё время сделали возможными рынки капитала: нельзя продавать акции мошеннической компании, нельзя сливать яд в реку рядом с заводом, нельзя собирать ядерный реактор в подвале только потому, что на слайдах это выглядит многообещающе.
Международный договор, запрещающий создание искусственного суперразума с верификацией там, где находятся чипы и проходят обучения, — одно из таких правил. Это инфраструктура цивилизации. Без него каждая лаборатория оказывается в дилемме заключённого, наказывающей за осторожность. С ним капитал сможет продолжать финансировать полезную половину ИИ, не финансируя ту, что съедает доску.
Я хочу, чтобы мои компании процветали в веке, где ещё есть клиенты. Это минимум, которого требует рынок. Если вы называете себя капиталистом и при этом несётесь строить то, чем никто не сможет владеть, вы не защищаете капитализм. Вы поджигаете бухгалтерскую книгу и называете это свечением роста.