Управление без общей научной основы — это переговоры без общей карты. Климатические переговоры до 1990 года иллюстрируют эту проблему: правительства, спорившие о том, происходит ли потепление, вызванное человеком, вообще, не могли договориться о должном уровне реагирования, потому что исходили из несовместимых фактических предпосылок. Первый оценочный доклад IPCC, опубликованный в 1990 году, установил, что потепление происходит и обусловлено человеческой деятельностью. Он не прекратил политические споры о том, что делать, но изменил их характер — со споров о том, существует ли проблема, на споры о том, как реагировать на неё.
До IPCC климатическая наука оставалась спорной территорией. После трёх десятилетий докладов IPCC научная основа климатической политики фактически устоялась, какие бы политические разногласия ни оставались по поводу ответных мер. Риску ИИ нужен такой же авторитетный синтез. Что требуется для создания аналогичного органа — вопрос с конкретным ответом.
Политика рисков ИИ находится в предIPCC-состоянии. Нет авторитетного международного органа, который обобщал бы данные о рисках передового ИИ, оценивал вероятность и характер катастрофических исходов и выпускал заключения, которые правительства воспринимали бы как общую фактическую основу для решений в сфере управления. Этот пробел — не мелкая неудобство. Переговоры по управлению, начатые без общих фактических предпосылок, обычно порождают рамки, определяемые стратегическими интересами сильнее, чем характером самого риска.
Как IPCC на самом деле построил консенсус
IPCC не проводит оригинальных исследований. Она синтезирует существующую рецензируемую литературу, созданную тысячами учёных в университетах и исследовательских институтах по всему миру, в комплексные оценочные доклады. Процесс синтеза включает сотни авторов-экспертов, которые рецензируют и обобщают опубликованную литературу в своих областях. Краткое изложение для лиц, принимающих решения, — раздел, который действительно читают правительства и журналисты, — готовится путём построчных переговоров между авторами-учёными и представителями правительств всех 195 стран-членов IPCC.
Этот процесс переговоров — источник политического авторитета IPCC, но также и его консервативного характера. Любое правительство может возразить против конкретной формулировки в резюме, и процесс требует, чтобы возражения были учтены до принятия резюме. Это значит, что резюме отражает наименьший общий знаменатель того, что все участвующие правительства готовы принять, а это почти всегда осторожнее, чем то, что поддержала бы лежащая в основе наука без политических фильтров. Резюме IPCC неизменно преуменьшают срочность по сравнению с полными оценочными докладами, которые они суммируют, потому что язык резюме должен пройти правительственную проверку.
Несмотря на этот консервативный уклон, оценки IPCC имели серьёзные последствия. Путь от первого оценочного доклада 1990 года, заложившего научную основу для антропогенного потепления, до шестого цикла оценок, завершённого в 2022 году и назвавшего доказательства неоспоримыми, а риски — тяжёлыми и повсеместными, привёл к постепенному нормативному сдвигу: правительствам становится всё труднее публично отрицать базовые факты изменения климата. Политическая цена отрицания растёт с каждым циклом, потому что авторитет IPCC признаётся практически во всех политических системах.
Пагуошская альтернатива
До IPCC самым влиятельным интерфейсом науки и политики в области экзистенциальных рисков были Пагуошские конференции по науке и мировым делам. Пагуош начался в 1957 году в ответ на Манифест Рассела — Эйнштейна — заявление 1955 года, подписанное Альбертом Эйнштейном, Бертраном Расселом и ещё девятью видными учёными, предупреждавшее об опасности ядерного оружия и призывавшее правительства разрешать споры мирными средствами. Первая Пагуошская конференция, прошедшая в июле 1957 года в новошотландской деревне Пагуош, собрала двадцать два учёных из десяти стран, включая США, Советский Союз и Великобританию, для обсуждения рисков ядерного оружия.
Что отличало Пагуош от формальных межправительственных процессов — его неформальный характер. Участники приезжали как частные лица, а не как представители правительств. Обсуждения велись без протокола. Учёные из противостоящих стран могли обсуждать позиции и идеи, которые их правительства не уполномочивали выдвигать официально. Эта неформальность позволяла вести откровенный обмен мнениями через линии холодной войны, невозможный в рамках официальной дипломатии.
Пагуош не создавал договоров. Он создавал интеллектуальную основу, которую позже оформляли формальные переговоры. Концепция взаимного гарантированного уничтожения как основы стабильности сдерживания была уточнена в дискуссиях Пагуоша до того, как стала официальной политикой US. Договор о частичном запрещении ядерных испытаний (1963) и Договор о нераспространении (1968) оба опирались на идеи, разработанные в пагуошских обсуждениях. Организация получила Нобелевскую премию мира в 1995 году совместно с Джозефом Ротблатом, её многолетним генеральным секретарём, в признание этого вклада в контроль над вооружениями.
IPCC и Пагуош представляют две разные функции, которые может выполнять интерфейс науки и политики. IPCC синтезирует существующие исследования в авторитетные консенсусные оценки с политической легитимностью, полученной через межправительственную проверку. Пагуош создал неформальный диалог через политические линии, позволявший идеям развиваться до того, как они стали политически жизнеспособны. Управление рисками ИИ нуждается в обоих: систематическом синтезе доказательств для формирования общих фактических предпосылок политики и неформальном трансгеополитическом диалоге для проработки концепций управления до начала формальных переговоров. Эти функции может выполнять один орган или два отдельных.
Что нужно делать иначе совету по рискам ИИ
Международная комиссия по рискам ИИ по образцу IPCC столкнётся с несколькими вызовами, не имеющими аналогов в климатологии.
Проблема конфиденциальных знаний. Большая часть информации о возможностях и рисках передовых систем ИИ находится у небольшого числа частных компаний. Исследовательская литература по безопасности передового ИИ частично публикуется, но наиболее релевантные данные, включая результаты внутренних оценок возможностей, результаты тестов безопасности и отчёты об инцидентах, являются конфиденциальными. IPCC обобщает опубликованные рецензируемые исследования. Панели по рискам ИИ потребуется доступ к непубличной информации для обобщения наиболее релевантных доказательств, что потребует от разработчиков передовых систем ИИ предоставлять эти данные панели по определённым договорённостям о конфиденциальности. Разработка таких договорённостей — серьёзная задача управления, не имеющая прецедента в IPCC.
Проблема темпа. IPCC выпускает крупные оценочные доклады раз в пять-семь лет, с обновлениями между ними. Такой ритм подходит физическому явлению, меняющемуся десятилетиями. Возможности ИИ растут за месяцы. Панели по рискам ИИ придётся готовить оценки намного чаще или ввести постоянный мониторинг, отслеживающий развитие способностей почти в реальном времени, иначе она потеряет значение для управленческих решений. Более частые доклады труднее проводить через построчный межправительственный процесс рецензирования IPCC — этот механизм намеренно медленный.
Проблема знаний двойного назначения. Климатология — это общедоступные знания, не несущие внутренней угрозы безопасности. Исследования безопасности ИИ иногда требуют понимания того, как именно опасные возможности могут быть использованы во вред, что создаёт напряжение между прозрачностью, делающей оценку авторитетной, и соображениями безопасности, требующими ограничить некоторые выводы. Группе по рискам ИИ потребуются процедуры работы с чувствительными данными о возможностях, которые IPCC никогда не приходилось разрабатывать.
Почему отсутствие такого органа уже обходится дорого
Отсутствие авторитетного международного органа, обобщающего доказательства рисков ИИ, уже сейчас несёт конкретные издержки для управления.
Переговоры по управлению исходят из несовместимых фактических предпосылок. Разные правительства и разные фракции внутри них исходят из принципиально разных оценок того, когда искусственный сверхразум может создать катастрофические риски, каков характер этих рисков и какие меры управления их могут снизить. Без общей фактической базы такие переговоры обычно порождают рамки, построенные вокруг наиболее политически удобного взгляда на риск, а не вокруг наиболее точной его оценки.
Коммуникация рисков фрагментирована и непоследовательна. Предупреждения о рисках ASI исходят от разнородных источников — академических исследователей, внутренних команд безопасности ИИ-компаний, аналитических центров и правозащитных организаций — без общей методологии, единого словаря и процедуры разрешения разногласий. В итоге публичный дискурс колеблется между пренебрежением и паникой без надёжной авторитетной точки отсчёта. Ценность IPCC для климатической коммуникации заключалась именно в том, что он давал журналистам, политикам и общественности единый авторитетный источник, на который можно было ссылаться как против отрицания, так и против преувеличений.
IPCC не создал политическую волю для решения проблемы изменения климата. Он создал общую фактическую основу, из-за которой игнорировать проблему стало политически дорого. ASI-управлению нужно то же самое: орган с полномочиями и методологией, способный установить, что на самом деле показывают данные о рисках передового ИИ, чтобы дебаты о регулировании опирались на общие факты, а не на стратегически удобную неопределённость.
Самый важный прецедент, который даёт IPCC для ИИ, — не методологический, а политический. IPCC был учреждён в 1988 году, за два года до первого оценочного доклада и за тридцать четыре года до того, как выводы шестого оценочного цикла были описаны как уже широко распространённые, быстрые и усиливающиеся воздействия. Институциональные вложения в систематический синтез доказательств начались задолго до того, как появилась политическая воля действовать на основе этих доказательств. Для риска ИИ институциональный эквивалент должен начаться до того, как закроется окно эффективного управления, а не после.
Панель по рискам ИИ с межправительственным составом, мандатом на обобщение опубликованных и — при соответствующих договорённостях о конфиденциальности — неопубликованных исследований по безопасности, более частой периодичностью отчётов, чем у IPCC, и доступом к независимой технической экспертизе из сообществ исследований безопасности ИИ можно создать в рамках существующих международных институтов. Для этого не потребуется договор. Потребуется лишь политическая воля достаточной коалиции правительств для её учреждения и финансирования. Это именно тот тип института, который можно создать до введения юридически обязывающих обязательств и в их поддержку. Будет ли он создан до того, как технология, которую он должен оценивать, сделает ранние оценки устаревшими, — вопрос с закрывающимся окном возможностей.
Самое жёсткое возражение
Самое справедливое возражение: ещё одна научная панель станет говорильней, пока лаборатории продолжают отгрузки. Риск справедливый. Модель IPCC полезна, когда она заставляет общие факты попадать в комнаты, где пишут законы. Панель без пути к порогам и мерам принуждения — это театр. Свяжите оценку с триггерами.