Почему так мало
Деньги в безопасности ИИ?

Спросите людей, сколько мир тратит на то, чтобы ASI развивался благополучно, и большинство назовут миллиарды. Учёные, создающие его, постоянно предупреждают об опасности; значит, ответ должен финансироваться как серьёзная проблема. Но это не так. Сложив все филантропические гранты, государственные программы безопасности и средства, которые передовые лаборатории тратят на собственные команды безопасности, получаем около 190 миллионов долларов в год. Глобальные инвестиции в возможности ИИ уже давно превысили 250 миллиардов долларов ежегодно. На каждую тысячу долларов, вложенных в усиление ИИ, приходится меньше одного доллара на его безопасность.

Цифру в 190 миллионов долларов стоит проверить, потому что оценки в этой области действительно размыты. Опубликованные суммы варьируются примерно от 110 до 250 миллионов долларов в год в зависимости от того, учитываются ли государственные институты, внутренние команды лабораторий и академическая работа. Далее следует наш собственный подсчёт, построенный на основе публичных баз грантов и бюджетных раскрытий по каждому фонду.

Откуда берутся деньги

Бросаются в глаза две вещи. Первая: поле не диверсифицировано. Одна частная фондовая организация даёт больше четверти всех средств и больше половины всей филантропии. Вторая: доля государства недавняя и хрупкая, почти вся она датируется 2023 годом, а оба института UK и US убрали слово «safety» из названий в течение двух лет после основания.

Куда идут деньги

Ни один донор не публикует разбивку расходов по целям, поэтому мы сами классифицировали гранты: взяли каждый источник, распределили известные гранты и программы по категориям и просуммировали данные по всем донорам. Открытая база грантов Open Philanthropy показывает около 28 миллионов долларов на техническую безопасность в 2024 году, из которых 68 процентов ушли на оценки и бенчмарки. UK AI Security Institute по мандату является органом по оценкам, а программа ARIA Safeguarded AI — техническими исследованиями. Грантополучатели Survival and Flourishing Fund охватывают техническую работу (MIRI), оценки (METR, Apollo Research) и advocacy (CAIS Action Fund). Программа Longview по ИИ тяготеет к управлению. Внутренние бюджеты лабораторий почти полностью технические. Результат:

Итоговые суммы по категориям — это оценки, построенные на оценках, а многие гранты стоят на стыке направлений: некоммерческая организация проводит техническую работу, а институт управления — стипендиальные программы. Но общая картина устойчива к любой разумной переклассификации: технические исследования и оценки поглощают около двух третей всех средств, а advocacy — работа по реальному изменению политики государств и компаний — получает лишь двадцатую часть.

Причина первая: единственный доминирующий спонсор

Большая часть филантропических средств на безопасность ИИ, более половины, поступает из одного источника: Good Ventures, фонда сооснователя Facebook Дастина Московица и Кари Туна, через Open Philanthropy. Такая концентрация имеет последствия, выходящие за рамки хрупкости. Когда организация не попадает в круг того, что финансирует Good Ventures, остальной пул доноров настолько мелок, что, по одной из оценок бывшего грантмейкера в этой области, сталкивается с планкой финансирования в 1,5–3 раза выше, чем у всех остальных. А когда доминирующий донор меняет приоритеты, за ним сдвигается всё поле: объём грантов Open Philanthropy на техническую безопасность упал с пика 2022 года более 60 млн долларов до 28 млн долларов в опубликованных грантах 2024 года, причём большая часть оставшихся средств пошла на оценки. Ни один другой донор не восполнил разницу. В здоровой области решение совета одного донора не может перестроить всю исследовательскую повестку. Это ещё не здоровая область.

Вторая причина: отсутствие поддержки

Исследования рака собирают десятки миллиардов в год, потому что каждый знает кого-то больного. Климатическая филантропия превысила 10 миллиардов в год, потому что ущерб видим, а движению уже пятьдесят лет. Риску ИИ нет пациентов, нет затопленных городов, нет скорбящих семей; вред, о котором предупреждают, ещё не наступил, а если область добьётся успеха, то и не наступит. Предотвращение риска, который никогда не материализовался, — едва ли не самая сложная задача для сбора средств. Люди, наиболее убеждённые в аргументе, обычно исследователи, а не миллиардеры, и обеспокоенность широкой публики (которая, по опросам, реальна и растёт) не имеет очевидной кнопки пожертвований.

Причина третья: лаборатории поглотили область

Большая доля людей, способных заниматься исследованиями выравнивания, работает в Anthropic, OpenAI или Google DeepMind, где зарплаты недостижимы для некоммерческих организаций. Это искажает картину финансирования дважды. Во-первых, безопасность выглядит лучше обеспеченной ресурсами, чем есть на самом деле, потому что самая заметная работа по безопасности происходит внутри компаний с огромными бюджетами. Во-вторых, значительная часть исследовательской повестки области оказывается привязана к коммерческим решениям: расходы лаборатории на безопасность реальны, но это расходы, которые выбирает сама лаборатория, по вопросам, которые она сама приоритизирует, публикуемые по её усмотрению и отменяемые при смене приоритетов, как показала OpenAI, когда в 2024 году распустила команду Superalignment через год после публичного обещания выделить на эту задачу 20 % вычислительных ресурсов. Независимые исследования безопасности существуют именно для того, чтобы задавать вопросы, которые лаборатории не будут задавать, и независимость — это именно то, что деньги не финансируют в достаточном масштабе.

Причина четвертая: деньги позволяют избежать политики

Самая маленькая доля диаграммы (5 процентов на advocacy) может оказаться самой важной. Закон о благотворительности US ограничивает объём лоббистской деятельности, которую может финансировать фонд со статусом 501(c)(3), а большинство институциональных доноров проявляют осторожность сверх юридических требований, опасаясь политизации остальных грантов. В итоге сфера ежегодно тратит 160 миллионов долларов на исследования и оценки и около 10 миллионов — на то, чтобы люди, обладающие властью, действовали на их основе. Организации, занимающиеся прямой политической работой (PauseAI, ControlAI, кампания Future of Life Institute), работают с бюджетами, которые вызвали бы смущение у предвыборного штаба среднего размера. Независимо от отношения к их методам, дисбаланс очевиден: крупнейшие технологические компании тратят на федеральное лоббирование больше, чем вся сфера безопасности — на advocacy в целом.

Что могло бы это изменить

Арифметика области означает, что небольшие суммы её сдвигают. Новый донор, дающий 5 миллионов долларов в год, мгновенно войдёт в число крупнейших спонсоров advocacy по безопасности ИИ на Земле. Правительство, выделяющее одну десятую процента оборонного бюджета на исследования безопасности, примерно удвоит мировой объём. Это редкая причина, где узкое место — не absorptive capacity (сами спонсоры публично говорят, что не могут покрыть возможности, которые видят), а просто число людей, выписывающих чеки. Как мог бы выглядеть deliberate push к изменению этой ситуации (как область могла бы достичь миллиарда долларов в год и откуда взялись бы деньги) — тема Часть 2.

Деньги — один рычаг, политика — другой, и для неё не требуется личное состояние. Аргументы в пользу обязательных международных правил для передового ИИ изложены в наш план, и самый быстрый способ добавить к нему свой вес занимает пять минут на принять меры странице. Интерактивная версия данных о финансировании в этой статье находится на нашем страница ресурсов, с источниками, и мы будем обновлять оба по мере появления новых раскрытий.

Вот откуда берутся деньги, куда они уходят и почему сумма остаётся такой маленькой.