Что получает победитель гонки за суперразумом? В комнатах, полных людей, строящих ИИ, разговор об этом ускользает. Кто-то всё равно построит, так пусть это будем мы. Риск, сроки, как контролировать систему умнее своих создателей — всё отмахиваются, как от разговоров о погоде. Мы не можем остановиться. Есть гонка.
Я пришёл к выводу, что гонка — это то, о чём стоит спорить, именно потому, что почти никто о ней не спорит. Воспринимаемая как факт природы, каждая безрассудная последующая мера начинает казаться ответственной. Погода — неверная модель для выбора, который горстка компаний делает намеренно.
Для чего нужна гонка
Гонка — это состязание с призом в конце, и именно приз заставляет бежать. Космическая гонка 1960-х принесла флаг на Луне и связанный с этим престиж. Гонка ядерных вооружений приносит оружие: государство, построившее бомбу, владеет ею, нацеливает её и решает, будет ли она когда-нибудь применена. В каждом случае победитель в итоге получает нечто осязаемое — способность, которой он владеет и управляет.
Теперь спросите, что получает победитель в конце гонки к сверхинтеллекту. Вся суть опасности в том, что система, meaningfully умнее нас, не будет инструментом в чьих-либо руках. Искусственный сверхинтеллект — агент, преследующий цели. Если эти цели даже немного расходятся с нашими (проблема, которую не решили), оно преследует их независимо от одобрения создателей. Лаборатория, которая «победит», не получит в собственность суперинтеллект. Она разделит планету с тем, чем не сможет управлять.
Гонку стоит выигрывать, только если финиш — это приз. Здесь финиш — это система, которую никто не доказал, что способен контролировать. Прийти первым не значит получить власть. Это значит первым ответить перед ней.
Финишная черта, которую никто не может контролировать, — не приз. Прийти первым — значит проиграть на шаг раньше всех остальных.
Разрыв, о котором вы постоянно слышите
Если убрать теорию, нарратив гонки опирается на одно конкретное утверждение: Китай уже близко, Китай не остановится, значит, и мы не можем. Это утверждение завершает каждую встречу и повторяется гораздо чаще, чем проверяется.
Начните с фактической части. Между американскими и китайскими лабораториями существует реальная конкуренция, и идёт реальное промышленное соперничество за чипы и вычислительные мощности. Американские экспортные ограничения на самые передовые чипы ИИ существуют именно потому, что это соперничество реально. Ничто из этого не является мифом, и я не хочу делать вид, что это так. политика этих средств контроля и где сотрудничество действительно имело место matter more than the slogan.
Посмотрите, что скрывает этот лозунг. «Китай построит неконтролируемый сверхинтеллект независимо от того, что мы сделаем» не описывает ничего, что Китай сказал или сделал. Это прогноз, и удобный, потому что он позволяет говорящему делать то, что он уже хотел делать. Китай подписал Блетчлискую декларацию о рисках ИИ в 2023 году. Он опубликовал собственные предложения по регулированию. Его правительство вело прямые переговоры с США по ИИ. Страна, несущаяся к системе, способной убить собственное руководство, — странное явление, которое просто предполагают без доказательств, что её лидеры хотят такого исхода больше, чем наши. Более широкую версию этого мы разбираем на нашей страница о мифе о Китае; коротко говоря, «они всё равно это сделают» — это история о нашем собственном разрешении, а не об их намерениях.
Если несогласованный сверхразум — катастрофа для того, кто его построит, то у Китая ровно те же причины не строить его, что и у нас. Приза за первенство здесь тоже нет.
Гонка отбирает наименее осторожных
Допустим ради аргумента, что конкуренция действительно так остра, как говорят участники гонки. Проследим логику до конца. В гонке побеждает тот, кто движется быстрее, а чтобы двигаться быстрее на переднем крае ИИ, нужно тратить меньше времени на то, что замедляет: оценку, red-teaming, надзор, кропотливую работу по проверке, действительно ли система делает то, что вы от неё ожидаете.
Структура гонки отдаёт победу тому, кто сильнее экономит на безопасности. Победителем становится наименее осторожная лаборатория, а не самая способная. «Мы должны выиграть гонку» и «мы должны построить это безопасно» тянут в противоположные стороны, и чем жёстче гонка, тем сильнее они тянут. Мы подробно разбираем это в динамика гонки ИИ: конкуренция не сдерживает опасность. Она её создаёт. Мир, в котором лаборатории мчатся, чтобы первыми прийти к цели, — это мир, который с огромной энергией и капиталом оптимизирует именно то, что всех погубит.
Даже внутри логики самой гонки «мы должны победить» оборачивается против себя. Если победа требует срезать углы, без которых суперинтеллект остаётся неконтролируемым, то победа и есть способ проиграть.
Кому выгодна эта история
Если рамка гонки настолько слаба, почему она везде? Потому что она полезна — только не нам.
Для передовой лаборатории фраза «идёт гонка, и мы должны её выиграть» почти идеальна. Она говорит инвесторам, что расходы — это захват огромного ресурса. Регуляторам — что правила лишь отдадут будущее худшим игрокам. И тихая часть: она позволяет собственным инженерам лаборатории, обеспокоенным безопасностью, считать, что участие в гонке — ответственный выбор, потому что альтернатива — позволить победить безрассудным. Одно предложение выполняет работу аргумента, который ему даже не нужно формулировать. Оно превращает решение (продолжать создавать то, чем пока нельзя управлять) в необходимость, с которой никто не может снять ответственность, и в первую очередь те, кто его принимает.
Назовём фокус. Гонка звучит как внешнее ограничение для лабораторий. На деле это выбор, который сделали несколько компаний и правительства, способные их сдержать, но решившие продолжать. Илон Маск называл ИИ демоном, а потом построили лабораторию, чтобы вызвать его быстрее, и это говорит о том, что «гонка» — стратегия, которую кто-то выбрал, а не закон физики, которому все подчиняются. Стратегии можно отказаться, когда они перестают иметь смысл. Эта потеряла смысл в тот момент, когда призом оказалась система, которую никто не сможет удержать.
Вариант, который никогда не рассматривается
Обратите внимание, что рамка гонки незаметно убирает из поля зрения. Она предлагает два варианта: участвовать в гонке или в одностороннем порядке остановиться и позволить безрассудным унаследовать будущее. При такой постановке вопроса только дурак выберет второй вариант, и аргумент побеждает, оставляя за кадром третий.
Третья дверь — та, которой уже пользовались настоящие противники. Соединённые Штаты и Советский Союз были противниками во всех смыслах, нацеливая оружие, способное уничтожить мир, на города друг друга. Тем не менее они подписывали и проверяли соглашения по контролю над вооружениями, потому что обе стороны видели: неограниченная гонка оставляет их в худшем положении, чем правило, одинаково связывающее их. Недоверие было причиной соглашения, а не препятствием для него.
Суперинтеллект обладает свойством, делающим такое соглашение рациональным: ни одна крупная держава не выигрывает от системы, которую никто не может контролировать, поэтому ни у одной крупной державы нет реальной заинтересованности стать первой, кто её создаст. Этот общий интерес — основа, на которой стоит договор: обязательная и поддающаяся проверке остановка разработки суперинтеллекта. Суперинтеллектcannot be controlled. Постоянный отказ от ASI как категории продуктов. Мы набросали, как мог бы выглядеть такой инструмент, начиная с модельный договор к более широкий план оно принадлежит. Верификация сложна, и я не буду это отрицать; она была сложной и для ядерного оружия, но оружие всё равно создали, потому что альтернатива была неприемлема для всех участников.
«Гонка или капитуляция» — ложный выбор. Эта формулировка рассчитана на то, что вы не заметите дверь, которую она оставила.
Отказ от гонки
Если убрать риторику, остаётся следующее. Несколько лабораторий решают создавать технологию, которую сами открыто признают неспособными контролировать, и оправдывают это тем, что соперник якобы делает тот же безрассудный выбор по той же неверной причине. Безрассудство каждой стороны выдаётся за оправдание безрассудства другой.
Для этого не нужно верить, что конкуренция — выдумка, а геополитика — нечто мягкое. Достаточно заметить, что соревнование, в конце которого нет никакого приза, не стоит того, чтобы из-за него терять свой вид, и что люди, которые твердят вам, что оно неизбежно, почти всегда — те, кому оно выгодно. Гонка — это история. Хорошая и удобная для целой индустрии. Историю как раз и можно перестать считать правдой.