Das Vorsorgeprinzip entstand aus dem Umweltrecht und ist inzwischen in internationale Instrumente eingebettet. Seine bekannteste Formulierung ist Prinzip 15 der Rio-Erklärung von 1992: Bei Bedrohungen schwerer oder irreversibler Schäden darf fehlende wissenschaftliche Gewissheit nicht als Grund dafür dienen, kosteneffektive Maßnahmen zu deren Verhinderung aufzuschieben. Varianten finden sich im gesamten EU-Recht und in Verträgen zu Klima, Biodiversität und gefährlichen Stoffen. Das Prinzip existiert genau für Situationen, in denen das Warten auf Beweise zu lange dauert.

Das Prinzip besagt, dass dort, wo eine Tätigkeit ernsthafte oder unumkehrbare Schäden androht, das Fehlen vollständiger wissenschaftlicher Gewissheit nicht als Grund dienen darf, Schutzmaßnahmen aufzuschieben. Diese Regel ist die stärkste rechtliche Grundlage, um bei KI-Risiken zu handeln, bevor eine Katastrophe den Punkt beweist.

Warum es so gut zu KI passt

Der Fall für KI-Risiken hat eine unangenehme Eigenschaft: Die ernsthaftesten Szenarien haben sich nicht ereignet und können nicht im Voraus demonstriert werden, ohne das Experiment durchzuführen. Kritiker nutzen dies, um die Sorge abzutun: kein Beweis, kein Problem. Das Vorsorgeprinzip ist die direkte Antwort. Es wurde für Bedrohungen geschaffen, die schwerwiegend und potenziell irreversibel, aber noch nicht sicher sind, und es kehrt die Beweislast um: Die Frage ist nicht, ob die Katastrophe bewiesen ist, sondern ob die Möglichkeit ernst genug ist, um angesichts dessen, was auf dem Spiel steht, Schutzmaßnahmen zu rechtfertigen.

Zwei Merkmale der Frontier-KI machen sie zu einem nahezu lehrbuchmäßigen Fall für das Prinzip. Der potenzielle Schaden liegt am oberen Ende der Schwere-Skala, plausibel katastrophal und irreversibel. Und die Wissenschaft ist wirklich unsicher, wobei glaubwürdige Experten einer Verlust-der-Kontrolle-Szenarien eine sinnvolle Wahrscheinlichkeit zuweisen und es keine zuverlässige Methode gibt, sie auszuschließen. Schwerwiegend, irreversibel, unsicher: genau das Profil, für das das Vorsorgeprinzip geschrieben wurde.

Was Vorsorge in der Praxis erfordert

  • Die Beweislast umkehren. Entwickler der leistungsfähigsten Systeme sollten die Beweislast für die Sicherheit vor dem Einsatz tragen, statt dass die Gesellschaft die Gefahr erst nachweisen muss, wenn das Modell bereits im Einsatz ist – das Modell, das bereits für Arzneimittel und Kernkraftwerke gilt.
  • Handeln vor der Gewissheit. Governance sollte nicht auf eine nachgewiesene Katastrophe warten, um verbindliche Grenzen zu rechtfertigen, denn bei irreversiblen Risiken ist die Demonstration die Katastrophe.
  • Verhältnismäßigkeit zu den Einsätzen. Das Ausmaß der Vorsichtsmaßnahmen sollte dem Ausmaß des potenziellen Schadens entsprechen; die Risiken höchster Schwere rechtfertigen die stärksten Maßnahmen.
  • Umkehrbarkeit als Priorität. Wo möglich, Optionen offen halten und Schritte vermeiden, die zukünftige Korrekturen ausschließen, ein Prinzip, das direkt relevant für eine Technologie ist, die sich verankern könnte.

Die Einwände

Das Vorsorgeprinzip hat echte Kritiker, und ehrliche Befürwortung setzt sich mit ihnen auseinander. Der stärkste Einwand ist, dass Vorsorge, extrem ausgelegt, lähmen kann: Fast jede Tätigkeit birgt irgendein denkbares katastrophales Risiko, und ein Prinzip, das sagt „gegen alle unbewiesenen schweren Bedrohungen handeln“, könnte die Blockade nützlicher Innovation auf spekulativen Gründen rechtfertigen. Kritiker merken auch an, dass Vorsorge eigene Kosten hat (entgangene Vorteile, einschließlich der Möglichkeit, dass KI selbst andere Katastrophen abwenden könnte) und dass diese in die Rechnung gehören.

Diese Punkte widerlegen das Prinzip nicht; sie disziplinieren seinen Gebrauch. Die Antwort ist, dass Vorsorge proportionale Maßnahmen gegen Bedrohungen sind, die sowohl ernst als auch glaubwürdig unterstützt sind, wobei die Kosten des Handelns gegen die Kosten des Nicht-Handelns abgewogen werden, nicht „alles verbieten, was möglicherweise schiefgehen könnte“. Frontier AI qualifiziert sich nicht, weil jemand sich ein schlechtes Ergebnis vorstellen kann, sondern weil glaubwürdige Experten einer katastrophalen, irreversiblen Kontrollverlust eine reale Wahrscheinlichkeit zuweisen. Das Prinzip fordert Maßnahmen, die diesem spezifischen, gut unterstützten Risiko entsprechen, nicht einen pauschalen Stopp der Technologie.

Bei einem irreversiblen Risiko ist „auf Beweise warten“ das Gegenteil von Vorsicht. Das Vorsorgeprinzip existiert, damit wir nicht erst die Katastrophe erleiden müssen, um das Recht zu erwerben, sie zu verhindern.

Die Grundlage für sofortiges Handeln

Das Vorsorgeprinzip ist für ASI-Governance relevant, weil es das häufigste Argument für Verzögerung auflöst, dass wir nicht regulieren sollten, bis die Risiken bewiesen sind. In Recht und Ethik scheitert dieses Argument genau bei der Art von Bedrohung, die KI darstellt. Schwere, irreversible und unsichere Schäden sind der Paradefall für Handeln vor Sicherheit, mit der Beweislast bei denen, die das Risiko schaffen, zu zeigen, dass es eingedämmt ist. Das legt nicht fest, welche Maßnahmen ergriffen werden sollten; das ist die Aufgabe von Vertragsgestaltung, Verifikation und Schwellenwerten. Aber es beantwortet die vorgelagerte Frage, ob es legitim ist, unter Unsicherheit überhaupt zu handeln. Das ist es, und das Prinzip erklärt warum.