Ce texte diagnostique pourquoi le domaine est en manque. Partie 2, Comment la sécurité de l'IA atteint un milliard de dollars par an détaille comment il pourrait atteindre cinq fois ce budget, et d'où viendrait l'argent.
Demandez aux gens d’estimer combien le monde dépense pour que l’ASI se déroule bien, et la plupart avancent des milliards. Les scientifiques qui la construisent ne cessent d’alerter sur ses dangers potentiels ; on pourrait donc croire que la réponse est financée comme un problème sérieux. Ce n’est pas le cas. Additionnez toutes les subventions philanthropiques, tous les programmes gouvernementaux de sécurité et tous les dollars que les laboratoires de pointe consacrent à leurs propres équipes de sécurité, et le total atteint environ 190 millions de dollars par an. L’investissement mondial dans les capacités de l’IA a dépassé les 250 milliards de dollars par an depuis longtemps. Pour chaque millier de dollars consacrés à rendre l’IA plus puissante, moins d’un dollar est consacré à la rendre sûre.
Le chiffre de 190 millions de dollars mérite d'être examiné, car les estimations dans ce domaine sont vraiment floues. Les totaux publiés vont d'environ 110 à 250 millions de dollars par an selon que l'on compte les instituts gouvernementaux, les équipes internes aux laboratoires et le travail académique. Ce qui suit est notre propre comptabilité, établie à partir des bases de données publiques de subventions et des divulgations budgétaires, bailleur par bailleur.
D'où vient l'argent
| Source | Env. par an |
|---|---|
| Open PhilanthropySoutenu par Good Ventures ; plus de 336 M$ pour la sécurité de l'IA depuis 2014, environ 46-50 M$ par an récemment | 50 millions de dollars |
| Équipes de sécurité des laboratoires de pointeRecherche interne sur la sécurité chez Anthropic, OpenAI, Google DeepMind, estimée, non divulguée | 35 M$ |
| Survival & Flourishing FundSoutenu principalement par Jaan Tallinn ; son tour 2024 à lui seul a alloué plus de 19 M$ | 30 M$ |
| Gouvernement UKAI Security Institute plus le programme Safeguarded AI de £59M d'ARIA | 30 M$ |
| Autres philanthropies et individusLongview Philanthropy, le Long-Term Future Fund, des fondations plus petites, des donateurs individuels | 25 M$ |
| US, EU et autres gouvernementsCAISI du NIST, programmes de sécurité de la NSF, le Bureau de l'IA de EU | 20 millions de dollars |
| Total | - 190 millions de dollars |
Deux choses sautent aux yeux. Premièrement, ce n’est pas un domaine diversifié. Une seule fondation privée fournit plus du quart de l’ensemble des financements, et plus de la moitié de l’argent philanthropique. Deuxièmement, la part gouvernementale est récente et fragile, la plupart datant de 2023, et les instituts UK et US ont tous deux supprimé le mot « sécurité » de leur nom dans les deux ans suivant leur création.
Où va l'argent
Aucun bailleur ne publie de ventilation des dépenses par objectif, nous avons donc classé les subventions nous-mêmes : nous avons pris chaque source ci-dessus, trié ses subventions et programmes connus en catégories, puis additionné l'ensemble des bailleurs. La base de données publique des subventions d'Open Philanthropy indique environ 28 millions de dollars de subventions de sécurité technique pour 2024, dont 68 % sont allés aux évaluations et au benchmarking. L'Institut de sécurité de l'IA de UK est, par mandat, un organisme d'évaluation, tandis que le programme Safeguarded AI d'ARIA est de la recherche technique. Les bénéficiaires du Survival and Flourishing Fund couvrent le travail technique (MIRI), les évaluations (METR, Apollo Research) et le plaidoyer (le CAIS Action Fund). Le programme IA de Longview penche vers la gouvernance. Les budgets internes des laboratoires sont presque entièrement techniques. Le résultat:
| Ce qu'il paie | Env. par an | Partager |
|---|---|---|
| Recherche sur la sécurité techniqueAlignement, interprétabilité, robustesse, équipes de labos, ARIA, NSF, milieu universitaire, organisations à but non lucratif | 80 millions de dollars | 42% |
| Évaluations de modèles et benchmarkingTests de capacités dangereuses, UK AISI, METR, Apollo, subventions d'évaluations d'Open Phil | 50 millions de dollars | 26% |
| Recherche sur la gouvernance et les politiquesConception de traités, normes de sécurité, gouvernance du calcul | 30 M$ | 16% |
| Développement du domaine & talentsBourses, programmes de formation à la recherche, parcours professionnels | 20 millions de dollars | 11% |
| Plaidoyer et engagement publicCampagnes, lettres ouvertes, organisation de base | 10 millions de dollars | 5% |
Les totaux par catégorie sont des estimations construites sur des estimations, et de nombreuses subventions chevauchent plusieurs rubriques : un organisme d’évaluation réalise des travaux techniques ; un institut de gouvernance propose des bourses. Mais la répartition globale résiste à tout reclassement raisonnable : la recherche technique et les évaluations absorbent environ les deux tiers des fonds, tandis que le plaidoyer (le travail consistant à faire réellement évoluer les gouvernements et les entreprises) en reçoit un vingtième.
Avatar : La Voie de l’eau a coûté plus cher à produire que ce que le monde entier consacre à la sécurité de l’IA en une année. Un seul cluster d’entraînement de pointe coûte plus qu’une décennie de budget total du domaine. Le gouvernement fédéral US dépense le total annuel du domaine en défense environ toutes les dix minutes.
Première raison : un seul financeur dominant
La majeure partie de l’argent philanthropique consacré à la sécurité de l’IA, plus de la moitié, provient d’une seule source : Good Ventures, la fondation du cofondateur de Facebook Dustin Moskovitz et de Cari Tuna, via Open Philanthropy. Cette concentration a des conséquences au-delà de la fragilité. Quand une organisation sort du périmètre que Good Ventures finance, le reste du vivier de donateurs est si peu profond que, selon une estimation d’un ancien responsable de subventions dans le domaine, elle doit franchir une barre de financement 1,5 à 3 fois plus élevée que les autres. Et quand le principal bailleur change de priorités, tout le champ change avec lui : les subventions de sécurité technique d’Open Philanthropy sont passées d’un pic de plus de 60 millions de dollars en 2022 à 28 millions de dollars pour les subventions répertoriées en 2024, la plupart des fonds restants allant aux évaluations. Aucun autre bailleur n’est intervenu pour combler l’écart. Dans un domaine sain, la réunion du conseil d’administration d’un seul donateur ne peut pas remodeler l’agenda de recherche. Ce n’est pas encore un domaine sain.
Raison deux : aucune circonscription
La recherche sur le cancer récolte des dizaines de milliards par an parce que tout le monde connaît quelqu’un. La philanthropie climatique a dépassé 10 milliards par an parce que les dégâts sont visibles et que le mouvement a cinquante ans. Le risque lié à l’IA n’a ni patients, ni villes inondées, ni familles endeuillées ; le dommage qu’il annonce ne s’est pas produit et, si le domaine réussit, ne se produira jamais. Prévenir un risque qui ne s’est jamais matérialisé est l’un des arguments de collecte de fonds les plus difficiles qui soient. Les personnes les plus convaincues par l’argument sont généralement des chercheurs, pas des milliardaires, et l’inquiétude du grand public à l’égard de l’IA (que les sondages jugent réelle et croissante) n’a pas de case de don évidente.
Troisième raison : les laboratoires ont absorbé le domaine
Une grande partie des personnes qualifiées pour faire de la recherche sur l’alignement travaillent chez Anthropic, OpenAI ou Google DeepMind, à des niveaux de rémunération qu’aucune organisation à but non lucratif ne peut égaler. Cela déforme deux fois le paysage du financement. Cela donne l’impression que la sécurité est mieux dotée qu’elle ne l’est, car le travail de sécurité le plus visible se fait à l’intérieur d’entreprises disposant d’énormes budgets. Et cela lie une grande partie de l’agenda de recherche du domaine au jugement commercial : les dépenses de sécurité d’un laboratoire sont réelles, mais ce sont des dépenses que le laboratoire choisit, sur des questions qu’il priorise, publiables à sa discrétion et annulables quand les priorités changent, comme l’a montré OpenAI en dissolvant son équipe Superalignment en 2024, un an après avoir publiquement engagé 20 % de sa puissance de calcul sur le sujet. La recherche de sécurité indépendante existe précisément pour poser les questions que les laboratoires ne poseront pas, et l’indépendance est exactement ce que l’argent ne finance pas à grande échelle.
Raison quatre : l'argent évite la politique
La plus petite part du graphique (5 % pour le plaidoyer) est peut-être la plus déterminante. Le droit des fondations US limite le montant du lobbying qu’une fondation 501(c)(3) peut financer, et la plupart des bailleurs institutionnels sont encore plus prudents que la loi ne l’exige, de peur de politiser l’ensemble de leurs subventions. Résultat : le secteur consacre 160 millions de dollars par an à la recherche et aux évaluations, et environ 10 millions pour s’assurer que les décideurs agissent en conséquence. Les organisations qui mènent un travail politique direct (PauseAI, ControlAI, le bras de campagne du Future of Life Institute) fonctionnent avec des budgets qui feraient honte à une campagne parlementaire de taille moyenne. Quelle que soit l’opinion que l’on a de leurs méthodes, l’asymétrie est criante : les plus grandes entreprises technologiques dépensent chacune, en lobbying fédéral seulement, plus que tout le champ de la sécurité n’en consacre au plaidoyer.
Ce qui changerait cela
L’arithmétique du domaine fait que de petites sommes le font bouger. Un nouveau donateur versant 5 millions de dollars par an se classerait instantanément parmi les plus gros financeurs de la défense de la sécurité de l’IA sur Terre. Un gouvernement consacrant un dixième de un pour cent de son budget de défense à la recherche sur la sécurité doublerait à peu près le total mondial. C’est une cause rare où le goulot d’étranglement n’est pas la capacité d’absorption (les financeurs eux-mêmes disent publiquement qu’ils ne peuvent pas couvrir les opportunités qu’ils voient), mais simplement le nombre de personnes qui signent des chèques. Ce à quoi ressemblerait une poussée délibérée pour changer cela (comment le domaine pourrait atteindre un milliard de dollars par an, et d’où viendrait l’argent) fait l’objet de Partie 2.
L'argent est un levier ; la politique en est un autre, et elle ne nécessite pas de fortune personnelle. L'argument en faveur de règles internationales contraignantes sur l'IA de pointe est exposé dans notre plan, et la façon la plus rapide d'y ajouter votre poids prend cinq minutes sur le passer à l’action page. La version interactive des données de financement de cet article se trouve sur notre page des ressources, avec sources, et nous les tiendrons tous deux à jour au fur et à mesure que de nouvelles divulgations apparaissent.
Voici d'où vient l'argent, où il va et pourquoi le montant reste si faible.