Warum es so wenig gibt
Geld in der KI-Sicherheit?

Fragen Sie Menschen, wie viel die Welt dafür ausgibt, dass ASI gut verläuft, und die meisten landen irgendwo bei Milliarden. Die Wissenschaftler, die es bauen, warnen ständig davor, dass es gefährlich sein könnte; sicherlich ist die Reaktion wie bei einem ernsthaften Problem finanziert. Ist sie nicht. Addiert man alle philanthropischen Zuschüsse, alle staatlichen Sicherheitsprogramme und jeden Dollar, den die Frontier-Labs für ihre eigenen Sicherheitsteams ausgeben, kommt man auf etwa 190 Millionen Dollar pro Jahr. Die weltweiten Investitionen in KI-Fähigkeiten haben vor einiger Zeit 250 Milliarden Dollar pro Jahr überschritten. Für jeden Tausend Dollar, der für mehr Macht von KI ausgegeben wird, wird weniger als ein Dollar für ihre Sicherheit ausgegeben.

Die 190-Millionen-Dollar-Zahl verdient genauere Prüfung, denn Schätzungen in diesem Bereich sind tatsächlich unübersichtlich. Veröffentlichte Gesamtsummen liegen je nach Einbeziehung von staatlichen Instituten, internen Laborteams und akademischer Arbeit zwischen etwa 110 Millionen und 250 Millionen Dollar pro Jahr. Im Folgenden steht unsere eigene Aufstellung, erstellt aus öffentlichen Förderdatenbanken und Haushaltsveröffentlichungen, Förderer für Förderer.

Woher das Geld kommt

Zwei Dinge fallen auf. Erstens ist das kein diversifiziertes Feld. Eine private Stiftung stellt mehr als ein Viertel des Gesamtbetrags und mehr als die Hälfte aller philanthropischen Mittel. Zweitens ist der Regierungsanteil jung und fragil, der größte Teil stammt aus 2023, und sowohl das UK- als auch das US-Institut strichen das Wort „Sicherheit“ innerhalb von zwei Jahren nach ihrer Gründung aus ihren Namen.

Wohin das Geld geht

Kein Förderer veröffentlicht eine Ausgabenaufstellung nach Zweck, daher haben wir die Zuschüsse selbst klassifiziert: Wir haben jede oben genannte Quelle genommen, ihre bekannten Zuschüsse und Programme in Kategorien sortiert und über alle Förderer hinweg summiert. Die öffentliche Zuschussdatenbank von Open Philanthropy weist für 2024 etwa 28 Millionen Dollar an technischen Sicherheitszuschüssen aus, von denen 68 Prozent in Evaluierungen und Benchmarking flossen. Das UK AI Security Institute ist per Mandat eine Evaluierungsbehörde, während ARIAs Safeguarded AI-Programm technische Forschung ist. Die Grantees des Survival and Flourishing Fund umfassen technische Arbeit (MIRI), Evaluierungen (METR, Apollo Research) und Advocacy (den CAIS Action Fund). Longviews KI-Programm tendiert zur Governance. Die internen Budgets der Labore sind fast ausschließlich technisch. Das Ergebnis:

Die Kategoriesummen sind Schätzungen auf der Grundlage von Schätzungen, und viele Zuschüsse überschreiten Grenzen; eine Evaluations-Non-Profit leistet technische Arbeit, ein Governance-Institut vergibt Fellowships. Doch die Struktur bleibt bei jeder vernünftigen Umklassifizierung stabil: Technische Forschung und Evaluationen absorbieren etwa zwei Drittel des Gesamtbetrags, und Advocacy – die Arbeit, die tatsächlich das Verhalten von Regierungen und Unternehmen verändert – erhält einen Zwanzigstel.

Grund eins: ein einzelner dominanter Geldgeber

Der größte Teil des philanthropischen Geldes für KI-Sicherheit, über die Hälfte, stammt aus einer Quelle: Good Ventures, der Stiftung des Facebook-Mitgründers Dustin Moskovitz und Cari Tuna, die über Open Philanthropy vergibt. Diese Konzentration hat Folgen über die Fragilität hinaus. Wenn eine Organisation außerhalb dessen liegt, was Good Ventures fördern wird, ist der restliche Spenderpool so flach, dass sie nach einer Schätzung eines ehemaligen Förderers in diesem Bereich eine Förderschwelle 1,5- bis 3-mal höher hat als alle anderen. Und wenn der dominante Förderer seine Prioritäten ändert, verschiebt sich das ganze Feld mit ihm: Open Philanthropys Förderung technischer Sicherheit sank von einem Höchststand von über 60 Millionen Dollar im Jahr 2022 auf 28 Millionen Dollar bei den ausgewiesenen Förderungen 2024, wobei der größte Teil des Verbleibenden in Evaluierungen floss. Kein anderer Förderer sprang ein, um die Lücke zu schließen. In einem gesunden Feld kann die Vorstandssitzung eines einzelnen Spenders die Forschungsagenda nicht umgestalten. Das ist noch kein gesundes Feld.

Grund zwei: keine Anhängerschaft

Krebsforschung sammelt jedes Jahr Dutzende Milliarden, weil jeder jemanden kennt. Klimaphilanthropie überschritt 10 Milliarden Dollar pro Jahr, weil der Schaden sichtbar ist und die Bewegung fünfzig Jahre alt ist. KI-Risiko hat keine Patienten, keine überfluteten Städte, keine trauernden Familien; der Schaden, vor dem es warnt, ist nicht eingetreten, und wenn das Feld Erfolg hat, wird er es nie. Die Verhinderung eines Risikos, das nie materialisiert ist, ist nahezu der schwierigste Fundraising-Pitch überhaupt. Die Menschen, die vom Argument am meisten überzeugt sind, sind tendenziell Forscher, nicht Milliardäre, und die allgemeine öffentliche Besorgnis über KI (die Umfragen durchgehend als real und wachsend feststellen) hat keine offensichtliche Spendenbox daran angehängt.

Grund drei: die Labore haben das Feld absorbiert

Ein großer Teil der Personen, die für Alignment-Forschung qualifiziert sind, arbeitet bei Anthropic, OpenAI oder Google DeepMind, zu Vergütungen, die kein Nonprofit erreichen kann. Das verzerrt das Förderbild doppelt. Es lässt Sicherheit besser ausgestattet erscheinen, als sie ist, weil die sichtbarste Sicherheitsarbeit innerhalb von Unternehmen mit enormen Budgets stattfindet. Und es bindet einen großen Teil der Forschungsagenda des Feldes an kommerzielle Entscheidungen: die Sicherheitsausgaben eines Labors sind real, aber es sind Ausgaben, die das Labor wählt, zu Fragen, die das Labor priorisiert, veröffentlichbar nach Ermessen des Labors und kündbar, wenn sich Prioritäten ändern, wie OpenAI demonstrierte, als es 2024 sein Superalignment-Team auflöste, ein Jahr nachdem es öffentlich 20 Prozent seiner Rechenleistung für das Problem zugesagt hatte. Unabhängige Sicherheitsforschung existiert genau, um die Fragen zu stellen, die Labore nicht stellen werden, und Unabhängigkeit ist genau das, was das Geld nicht in großem Maßstab fördert.

Grund vier: Das Geld vermeidet Politik

Der kleinste Anteil des Diagramms (fünf Prozent für Advocacy) könnte der folgenreichste sein. US-Stiftungsrecht begrenzt, wie viel Lobbyarbeit eine 501(c)(3)-Stiftung finanzieren darf, und die meisten institutionellen Förderer sind weit über die gesetzliche Vorgabe hinaus vorsichtig, weil sie eine Politisierung ihrer übrigen Förderung fürchten. Das Ergebnis ist ein Feld, das 160 Millionen Dollar pro Jahr für Forschung und Evaluierungen ausgibt und etwa zehn Millionen Dollar dafür, dass Menschen mit Macht danach handeln. Die Organisationen, die direkte politische Arbeit leisten (PauseAI, ControlAI, der Kampagnenarm des Future of Life Institute), arbeiten mit Budgets, die eine mittelgroße Kongresswahl peinlich berühren würden. Was auch immer man von ihren Taktiken hält, die Asymmetrie ist auffällig: Die größten Technologieunternehmen geben allein für Lobbyarbeit auf Bundesebene mehr aus als das gesamte Sicherheitsfeld für Advocacy.

Was dies ändern würde

Die Arithmetik des Feldes bedeutet, dass kleine Beträge es bewegen. Ein neuer Spender, der 5 Millionen Dollar pro Jahr gibt, würde sofort zu den größten Förderern von KI-Sicherheits-Advocacy auf der Erde gehören. Eine Regierung, die ein Zehntel eines Prozents ihres Verteidigungshaushalts für Sicherheitsforschung bereitstellt, würde den globalen Gesamtbetrag ungefähr verdoppeln. Dies ist eine der seltenen Ursachen, bei denen der Engpass nicht die Aufnahmefähigkeit ist (Förderer sagen selbst öffentlich, dass sie die Chancen, die sie sehen, nicht abdecken können), sondern einfach die Zahl der Menschen, die Schecks ausstellen. Wie ein gezielter Vorstoß aussähe, das zu ändern (wie das Feld eine Milliarde Dollar pro Jahr erreichen könnte und woher das Geld kommen würde), ist Gegenstand von Teil 2.

Geld ist ein Hebel; Politik der andere, und sie erfordert kein persönliches Vermögen. Die Argumente für verbindliche internationale Regeln zu Frontier-KI finden Sie in unser Plan, und der schnellste Weg, ihr Gewicht hinzuzufügen, dauert fünf Minuten auf der handeln Sie Seite. Die interaktive Version der Finanzierungsdaten in diesem Artikel lebt auf unserer Ressourcenseite, mit Quellen, und wir werden beide aktualisieren, sobald neue Offenlegungen erscheinen.

Hier ist, woher das Geld kommt, wohin es geht und warum die Zahl so klein bleibt.