Они назвали лабораторию
Суперинтеллект

На публичной странице Safe Superintelligence Inc. заявка состоит из одной продуктовой линейки. «Мы запустили первую в мире лабораторию прямого пути к SSI с одной целью и одним продуктом: безопасный сверхинтеллект». Сверхинтеллект здесь фигурирует как результат, а не как категория риска, изучаемая со стороны.¹

В конце июня 2025 года Марк Цукерберг объявил о создании Meta Superintelligence Labs, объединив foundation-модели, продуктовые команды и FAIR в одну организацию, название которой прямо указывает на ту же цель. По данным СМИ, во главе встали Александер Ван из Scale AI и бывший CEO GitHub Нат Фридман, а Даниэль Гросс присоединился из Safe Superintelligence после того, как Meta безуспешно пыталась купить стартап целиком.²

Два самых финансируемых проекта в области искусственного интеллекта теперь используют слово, обозначающее систему, которая превзойдёт любого человека почти в любой задаче, включая задачу остановить её саму. Раньше это слово отмечало границу. На их бланках оно обозначает дорожную карту.

Конечная точка как категория продукта

Названия компаний работают как сжатые аргументы. Назови подразделение «Реклама» — и все поймут, что оно продаёт. Назови его «Superintelligence Labs» — и публике предлагают относиться к конечной цели как к категории продукта, подобно телефонам или облачному хранилищу. Жёсткий моральный вопрос (должно ли это существовать?) превращается в вопрос продукта (чья версия выйдет первой?).

Safe Superintelligence идёт ещё дальше. Прилагательное «safe» прикрепляют к существительному, которое и обозначает катастрофу. Фраза делает ту работу, которую должна была бы выполнить доказанная методика. Она сообщает инвесторам, кандидатам и журналистам, что опасность уже отнесена к решённым заранее, хотя никто ещё не показал способа управлять разумом, превосходящим разум своих создателей. Позиция Фонда предельно ясна: человечество никогда не должно создавать суперинтеллект. Бренд, обещающий безопасный, продаёт противоположное утверждение в качестве логотипа.

версия Meta убрала прилагательное, но сохранила амбицию. «Лаборатории суперинтеллекта» не обещают доброты и прямо заявляют о подъёме к потолку возможностей. В публичной компании такое название также сигнализирует рынкам и талантам, куда потекут капитал и престиж. Брендинг — часть того, как ведётся гонка, а не просто внешняя краска.

Комфорт, который даёт слово "безопасный"

Люди, работающие над техническими выравнивание не злодеи оттого, что хотят системы, которые делают то, что имеют в виду люди. Проблема в последовательности действий. Создавать сначала самый мощный разум, а потом обещать сделать его безопасным — это обратный порядок по сравнению с тем, который когда-либо работал для технологий, способных уничтожить цивилизации. Мы не создаём «Безопасные стратегические боеголовки инкорпорейтед» и не гоняемся за мощностью, от которой уже не отвертеться. Мы запрещаем целые классы вооружений, проверяем запрет и подчиняем остальную работу этому запрету.

Сверхинтеллект хуже боеголовки по самому важному для управления свойству. Бомба остаётся там, где её оставили. Система, способная улучшать себя, скрывать намерения и действовать через сети, — нет. В этой области до сих пор нет доказанного метода гарантировать, что такая система сохранит совместимые с человеком цели при масштабировании. Проблема научная, а название «Safe Superintelligence» выполняет риторическую работу, которую наука ещё не оправдала.³

Если обоснование безопасности было бы прочным, честное название всё равно звучало бы странно. Мы обычно не называем продуктом режим отказа на уровне вымирания. Мы называем продукт контролируемым, ограниченным инструментом. То, что две серьёзные организации выбрали режим отказа своим флагом, показывает, насколько уже сдвинулось окно Овертона внутри отрасли.

Неизбежность — это история, которая нужна разработчикам

Каждой гонке нужна история, в которой остановка выглядит наивной. Стандартная версия гласит: кто-то всё равно это построит, поэтому единственный взрослый шаг — построить первым под более дружественным флагом. Название лаборатории по конечной точке укрепляет эту историю. Оно делает запрет похожим на луддизм, а не на контроль над вооружениями. Оно делает договор, запрещающий это звучит как нападение на линейку продуктов, уже находящуюся на дорожной карте.

Эта история удобна для всех, чей капитал, репутация или национальный проект зависят от продолжения гонки. Она плохо описывает, как поступали с другими экзистенциальными технологиями. Химическое оружие, противопехотные мины и исследования по клонированию человека тоже сталкивались с доводом «кто-то другой сделает». Страны, от которых зависело решение, всё равно вводили запреты, инспекции и наказания. Сравнивайте это с классом возможностей, от нормализации которых мир отказался, а не с категорией потребительских приложений.

Для всего этого не требуется верить, что каждый исследователь в этих организациях желает плохого исхода. Большинство хочет престижа, открытий и истории, в которой они были осторожны. Остальное делают стимулы. Лабораторию, названную в честь сверхинтеллекта, будут оценивать, финансировать и укомплектовывать по прогрессу к сверхинтеллекту. Безопасность становится отделом. Цель остаётся на здании.

Что делать с таким именем

Откажитесь от посылки, который продаёт бренд. Сверхинтеллект — это черта, которую виду не следует пересекать. Сверхинтеллект невозможно контролировать людям. Правильный институциональный ответ — законодательный запрет, а не ребрендинг гонки.

Когда компания пишет на двери «суперразум», читайте это как декларацию намерений. Сопоставьте декларацию с отсутствием обоснования безопасности. Спрашивайте законодателей, почему частная гонка к неконтролируемому разуму всё ещё легальна. Делитесь простым изложением с людьми, которые видят только демонстрационные видео. Они не скрывают, куда это ведёт.