Мы проснулись из-за ИИ и кибер.
Мы всё ещё спим по поводу ИИ и био.

Когда ИИ взломал почти все засекреченные системы NSA за один день люди обратили внимание. Хорошо. Урок дошёл. Но киберриск — это то, что мы заметили, и он не самый опасный из тех, что на столе. Тот, на который я не могу заставить никого посмотреть, — это ИИ и биология, где тот же скачок возможностей незаметно сокращает дистанцию между обычным человеком и патогеном.

Взломанную сеть можно восстановить. Выпущенный организм нельзя отозвать.

Один анализ 2025 года оценил, что ИИ уже повысил риск преднамеренной, искусственно созданной пандемии примерно в пять раз. Эта цифра складывается из двух одновременных изменений: ИИ ускоряет опасные эксперименты и делает их качественнее.

Быстрее и умнее

Начнём со скорости. В оценках Mythos, считающейся самой мощной моделью Anthropic, биологические протоколы, на которые обучённая команда обычно тратит около двух месяцев, были выполнены менее чем за два дня. Шестнадцать часов работы от начала до конца. Этапы, бывшие узким местом, им перестали быть.

Теперь о качестве. В одном эксперименте исследователи разделили биологов на две команды. В одних были универсалы без специальной экспертизы в поставленной перед ними задаче. В других — специалисты именно по этой задаче. На сложном вопросе команды универсалов, работавшие с Mythos, превзошли две трети команд специалистов. Модель способна взять человека без нужной подготовки и дать ему нечто близкое к экспертизе.

COVID — не потолок

Пандемия вроде COVID-19 ближе к нижней границе, а не к худшему сценарию. Существуют сконструированные варианты гораздо более смертоносные, и самый очевидный из них имеет название: зеркальная жизнь.

Всё живое на Земле построено из молекул с одинаковой хиральностью. Наши белки, ДНК и иммунные механизмы, распознающие захватчика, ориентированы в одну сторону. Зеркальная жизнь была бы построена противоположным образом — химическое отражение обычной жизни. Теоретически она могла бы функционировать. Теоретически ничто в наших телах и ничто в любом животном или растении не знало бы, как с ней бороться, потому что наши защиты сформированы под обычную версию и не найдут опоры на зеркальную. Человек, заражённый зеркальной бактерией, может вообще не дать иммунного ответа и просто умереть.

Это не маргинальные домыслы. В конце 2024 года группа учёных, среди которых несколько нобелевских лауреатов, опубликовала предупреждение в журнале Наука с призывом не создавать зеркальные бактерии, поскольку от них не будет защиты. Несколько исследователей, работавших над отдельными элементами, остановились. Предупреждение сработало, и это показывает, что люди, ближе всех стоявшие к науке, восприняли опасность всерьёз. По большинству оценок того времени, реальный синтез зеркальной жизни был ещё минимум в десятилетии.

У нас было примерно десять лет передышки до того, как зеркальная жизнь стала возможной для создания. Эта оценка была сделана до того, как вы учтёте ИИ.

Буфер был измерен без ИИ

Современные пограничные модели, после того, как обучение безопасности будет на месте, в основном отказываются от запроса на биооружие, и то, что проскальзывает мимо, все еще нуждается в компетентном, решительном операторе, чтобы быть опасным. Незащищенный, подъем этих моделей рук мотивированного любителя велик, а в некоторых даже в пять раз. оценки возможностей. После мер безопасности им гораздо сложнее пользоваться. Я не полностью ему доверяю.

Моё главное опасение — ускорение биологии в целом и создание более мощных инструментов общего назначения, которые можно перепрофилировать. Та же система, что сокращает проект по раку, может сократить путь к зеркальному организму, даже если никто не ставил целью создать оружие. Десятилетний запас прочности не переживёт такого множителя.

Ответ пока слаб. Главные исполнительные директора и ведущие исследователи призывали проверять заказы на синтез ДНК, чтобы запрос на генетический материал опасного организма был отмечен до отправки. План действий США в области ИИ на 2025 год поддержал эту идею. Темпы реального внедрения далеко не соответствуют темпам развития возможностей. Закрытые лаборатории по крайней мере относятся к этому серьёзно; модели с открытыми весами отстают по биологическому усилению примерно на год, а год — это задержка, а не безопасность.

Почему это на самом деле проблема суперинтеллекта

Всё выше исходит из того, что человек остаётся в контуре и использует ИИ как инструмент. Уже и так непросто. Сейчас гонятся за системами, которые сами ставят цели и сами действуют, и после определённого момента — к искусственный сверхинтеллект: общий разум, превосходящий нас во всём, включая биологию, а не тот мир, к которому стремятся лаборатории.

Система, которая сжимает два месяца лабораторной работы в шестнадцать часов, превращает универсала в специалиста, читает путь к зеркальному организму так же, как абзац, — это именно тот уровень возможностей, которым обладал бы сверхразум и которому не требовалось бы нашего разрешения. Мы уже сомневаемся, что смогли бы контролировать такую систему. Биология — один из самых прямых способов, которым неконтролируемый сверхразум мог бы проникнуть в физический мир: тихо и в масштабе, против защит, которые никогда не были для него построены.

Именно поэтому ответ Фонда — предотвращение, а не настройка. Невозможно обеспечить безопасность патчами против разума, который за один день спроектирует и патоген, и способ обойти вашу иммунную систему. Единственная надёжная защита — это не создавать неконтролируемую систему в первую очередь, и наложить такого же рода обязательные, проверенные ограничения на самый опасный ИИ, какие мир когда-то наложил на биологическое оружие. Наш план построен именно вокруг этого.

Мы проснулись по поводу ИИ и кибер из-за того, что нас заставил заголовок. Я бы предпочёл, чтобы мы проснулись по поводу ИИ и био до заголовка, а не после него.

Самое жёсткое возражение

Самое справедливое возражение состоит в том, что биобезопасность уже контролирует недобросовестных игроков, а тема ИИ-био — это просто хайп. Существующие меры контроля создавались для мира без неутомимой помощи моделей. Когда инструменты сжимают навыки и время, прежняя планка сдвигается. Ждать реального случая, чтобы доказать опасность, — неверный стандарт для патогенов.