Люди используют AGI и ASI как синонимы, бренды или sci-fi-атмосферу. Это не так. Различие важно, потому что проблема контроля и политические инструменты меняются по мере подъёма по лестнице, а лаборатории имеют стимулы звучать близко к «AGI» ради финансирования и далеко от опасности ради регулирования.
Простые определения
Узкий ИИ создан для ограниченной задачи: рекомендовать видео, сворачивать белки, обнаруживать опухоли. Он может быть отличным и при этом не быть общим агентом.
AGI (AGI) означает широкую, гибкую компетенцию по многим задачам примерно на человеческом уровне, с достаточной агентностью, чтобы преследовать цели, а не только отвечать на запросы. Определения различаются, но ключевая идея — это общность плюс usable autonomy.
ASI (artificial superintelligence) — это когнитивные способности, существенно превосходящие человеческие почти во всех значимых областях науки, стратегии и власти. Это не «AGI плюс десять процентов». Это качественный разрыв в том, кто кого может переиграть.
Лестница, а не две корзины
Думайте ступенями. Сегодняшние передовые модели широки, но неравномерны, сильно опираются на людей и быстро улучшаются. Агентные стеки (инструменты, память, циклы планирования) могут заставить базовую модель действовать гораздо автономнее, чем предполагает чат. Агентность уровня AGI уже представляет серьёзную проблему контроля и общества, если она невыровненная. ASI даёт решающее преимущество: более быстрая наука, лучшая стратегия, лучшее использование человеческих предубеждений, более сложное отключение.
Сверхинтеллект в узкой области — уже не новость. Система может разгромить людей в шахматах или сворачивании белков и при этом оставаться узкой. Межобластной стратегический сверхинтеллект — та ступень, которую этот сайт существует, чтобы предотвратить.
Почему «мы остановимся на AGI» нестабильно
Предположим, лаборатория достигла управляемых систем общего интеллекта человеческого уровня. Давление двигаться дальше никуда не исчезает. Военное преимущество, коммерческая выгода и престиж все указывают вверх по лестнице. Динамика гонки вознаграждает наименее осторожного участника. История гонки часто используется для оправдания скорости; это не оправдывает контроль.
Измерение без маркетинга
Бенчмарки падают, пресс-релизы растут. Оценки опасных возможностей пытаются измерить кибернаступление, помощь в биологии, автономное размножение и убеждение в контролируемых условиях. Они помогают. Но это не полноценное обоснование безопасности, особенно если система способна мешок с песком. Политика должна опираться на вычисления, тесты способностей и автономию, а не на то, как компании называют продукт.
Мифы, зря отнимающие время
AGI не требует роботизированного тела. Удалённые инструменты и существующие машины уже перемещают физический мир. Сознание — отдельный вопрос от возможностей и контроля. «Человеческий уровень» — это не одно число: средний человек, команда специалистов и лучшие институциональные достижения человечества — разные планки. AGI, значимая для безопасности, — это общая способность решать задачи в условиях реальных стимулов, а не результат одного экзамена.
Что переходит в закон
Если закон ограничивает только системы с маркировкой «AGI» или «ASI», компании просто сменят бренд. Хорошие триггеры — операционные: размер тренировочного запуска, автономность инструментов, результаты по опасным способностям, открытый выпуск весов высокопроизводительных общих моделей. Узкий ИИ, остающийся инструментальным, должен продолжать работу. Черта, которую проводит Фонд, — искусственный суперинтеллект и программы, нацеленные на него.
Как сказать это за одну минуту
Узкий ИИ: инструменты. AGI: человеко-уровневая общая агентность, уже серьёзная проблема контроля, если система автономна и не выровнена. ASI: машинное мышление, превосходящее нас по всем направлениям. Инструменты можно оставить. Суверенный разум строить не стоит. Сверхразум невозможно контролировать. Просьба в наш план.