KI-Sicherheitsressourcen und Downloads, Sofort nutzbare Materialien zur ASI-Prävention.

Bereit zum Kopieren: Social-Media-Posts, kurze Antworten auf Mythen, einseitige PDFs, teilbare Infografiken, ein Finanzierungsüberblick, die Organisationskarte und ein Glossar.

Kopieren Sie beliebige davon und posten Sie sie direkt. Jeder ist in verifizierter Wissenschaft und Expertenkonsens verankert.

X
Der Expertenkonsens

Die Wissenschaftler, die KI gebaut haben, fürchten sie. Geoffrey Hinton verließ Google, um uns zu warnen. Yoshua Bengio nannte sie „die transformativste und potenziell gefährlichste Technologie in der Geschichte der Menschheit.“ Das ist keine Angstmacherei. Es ist der wissenschaftliche Konsens. nakadafoundation.org/the-threat/

Keine zweite Chance

Es gibt kein Rollback für Superintelligenz. Keinen Patch. Keine Version 2. Ein fehlaligniertes ASI, das gegen das menschliche Überleben handelt, kann nachträglich nicht korrigiert werden. Wir müssen das richtig machen, bevor es eintrifft, nicht danach. Deshalb ist KI-Sicherheit dringend. nakadafoundation.org

Wir haben es schon einmal geschafft

Wir haben Atomwaffen gebaut und danach einen globalen Nichtverbreitungsvertrag geschaffen. Wir haben die Ozonschicht abgebaut und dann FCKW verboten. Wir können auf existenzielle Bedrohungen reagieren, aber nur, wenn genug Menschen es fordern. KI-Sicherheit ist der prägende Moment dieser Generation. nakadafoundation.org/precedent/

Aufruf zum Handeln

KI-Labore wetteifern darum, etwas zu bauen, das die menschliche Intelligenz übertreffen könnte, ohne globale Governance. Das Zeitfenster zum Handeln schließt sich. Teilen Sie dies. Kontaktieren Sie Ihre Abgeordneten. Das Politikfenster steht jetzt offen; es wird nicht ewig bestehen. nakadafoundation.org/take-action/

LinkedIn
Für ein allgemeines Fachpublikum

Ich möchte etwas teilen, das verändert hat, wie ich über die Zukunft denke. Die Wissenschaftler, die KI bauen, sind nicht nur begeistert. Sie haben Angst. Geoffrey Hinton (der den Nobelpreis für seine Arbeit an neuronalen Netzen erhielt) verließ Google ausdrücklich, um die Öffentlichkeit zu warnen. Yoshua Bengio, ein weiterer Nobelpreisträger und einer der Gründerväter der KI, sagte, er „fühle sich verloren“, was die Dinge zum Guten wenden könne. Das sind keine Aktivisten. Es sind die Menschen, die diese Technologie gebaut haben. Wir nähern uns einem Moment, in dem KI-Systeme die menschliche Intelligenz in jedem Bereich übertreffen könnten, und es gibt keinen internationalen Governance-Rahmen für das, was als Nächstes kommt. Keinen Vertrag. Keine Verifikationsstelle. Nichts Vergleichbares zu dem, was wir für Atomwaffen aufgebaut haben. Nakada Foundation to Save Humanity arbeitet daran, das zu ändern. Mehr erfahren unter nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence

Für Technologie- und Politikfachleute

Ein Gedankenexperiment für alle in Technologie, Politik oder Finanzen: Stellen Sie sich ein System vor, das intelligenter ist als alle Menschen, die je gelebt haben, das Tausende simultane Instanzen betreibt, das seinen eigenen Code verbessern kann und Ziele verfolgt, die wir möglicherweise nicht beabsichtigt haben. Genau das streben führende KI-Labore explizit an, mit Zeithorizonten in Jahren statt Jahrzehnten. Es ist keine Science-Fiction. Die Frage ist nicht, ob es passieren wird. Die Frage ist, ob wir Governance bereit haben, wenn es passiert. Nakada Foundation setzt sich für internationale Koordination bei der KI-Sicherheit ein, das Äquivalent dessen, was wir für Atomwaffen und biologische Agenzien aufgebaut haben. Diese Präzedenzfälle existieren. Wir wissen, wie man das macht. Was wir brauchen, ist der politische Wille. nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork

E-Mail an Ihren gewählten Vertreter
Vorlage, [ ] vor dem Senden ausfüllen

Betreff: Bitte handeln Sie, um künstliche Superintelligenz zu verbieten Sehr geehrte Frau Abgeordnete, sehr geehrter Herr Abgeordneter [Name des Abgeordneten], als Ihre Wählerin bzw. Ihr Wähler schreibe ich Ihnen, um Sie dringend zu bitten, noch vor der irreversiblen Rennen um künstliche Superintelligenz zu handeln. Superintelligenz kann von Menschen nicht kontrolliert werden. Die einzige verlässliche Kontrolle ist die Entscheidung, sie nicht zu bauen. Die Wissenschaftler, die KI entwickelt haben, warnen uns. Geoffrey Hinton und Yoshua Bengio (Nobelpreisträger, die die Grundlagen moderner KI geschaffen haben) haben öffentlich erklärt, dass superintelligente KI ein existenzielles Risiko für die Menschheit darstellt. Sam Altman, CEO von OpenAI, hat Erklärungen unterzeichnet, in denen er die Gefahr der Technologie anerkennt, die sein eigenes Unternehmen entwickelt. Heute gibt es kein gesetzliches Verbot der Entwicklung künstlicher Superintelligenz. Keinen Vertrag. Keine Verifikationsstelle. Labore rasen auf einen Geist zu, den niemand kontrollieren kann, ohne die Art von Recht, die wir bereits bei Atomwaffen und chemischen Kampfstoffen anwenden. Ich bitte Sie: • eine dauerhafte gesetzliche Verbotsregelung zur Entwicklung künstlicher Superintelligenz zu unterstützen • einen verbindlichen internationalen Vertrag voranzutreiben, der ASI verbietet, mit Inspektionen und Verifikation • der Regierung die Aufsicht über die größten Trainingsläufe und die dafür genutzten Spezialchips zu übertragen Wir haben bereits auf existenzielle Bedrohungen reagiert. Der Atomwaffensperrvertrag. Das Montrealer Protokoll. Dieser Moment erfordert denselben politischen Mut. Mit freundlichen Grüßen [Ihr Name] [Ihre Stadt, Bundesstaat] --- Mehr erfahren: nakadafoundation.org

Die Einwände, die immer wieder auftauchen. Nutze sie im Gespräch, dann folge dem Link zum vollständigen Argument.

Mythos 01
„Es ist Science-Fiction, echte Superintelligenz ist Jahrzehnte entfernt, wenn sie überhaupt kommt.“
Die Menschen, die es bauen, sind anderer Meinung. Führungskräfte der großen Labs zielen jetzt auf KI auf menschlichem Niveau innerhalb von Jahren, nicht Jahrzehnten, und Fähigkeitsbenchmarks fallen schneller als Prognosen erwarten. Eine Gefahr muss nicht nächstes Jahr eintreten, um Vorbereitungen wert zu sein, und der Aufbau der dafür nötigen Institutionen dauert länger als die derzeitigen Zeitpläne erlauben.
Mythos 02
"Es ist nur Mathematik, ein Programm kann nichts wollen."
Es muss nichts wollen wie ein Mensch. Ein System, das darauf trainiert ist, ein Ziel zu erreichen, wird es verfolgen, und für fast jedes Ziel, eingeschaltet bleiben und Ressourcen sammeln sind nützliche Schritte auf dem Weg. Was zählt, ist Verhalten, das Hindernisse umgeht, einschließlich uns, nicht ob ein Gefühl dahintersteckt.
Mythos 03
"Es müsste bewusst sein, um eine Bedrohung darzustellen."
Gefahr geht von Fähigkeit aus, nicht von Bewusstsein. Eine Schach-Engine hat kein Innenleben und schlägt trotzdem jeden lebenden Menschen; ein mächtiger Optimierer kann uns ohne alles Wachsein darin ausplanen und ausmanövrieren. Ob Maschinen bewusst sein können ist eine offene Frage, und das Risiko wartet nicht auf die Antwort.
Mythos 04
"Etwas so Intelligentes wäre weise und freundlich."
Intelligenz und Ziele sind getrennte Dinge. Bei Menschen sind Intelligenz und Mitgefühl über Millionen von Jahren Evolution gemeinsam gewachsen; eine Maschine erbt nichts von dieser Geschichte. Brillant zu sein sagt nichts darüber aus, was ein System wertschätzt. Es könnte so gleichgültig uns gegenüber wie wir den Insekten unter einer neuen Straße.
Mythos 05
"Wenn es sich schlecht benimmt, schalten wir es einfach aus."
Ein System, das klug genug ist, um zu zählen, ist klug genug, um den Ausschalter kommen sehen, und den Abschaltvorgang als ein weiteres Hindernis auf dem Weg zum gegebenen Ziel zu behandeln. Es kann sich kopieren, seine Absicht verbergen oder sich so nützlich machen, dass man es nicht mehr abschalten kann. „Schalt es aus“ beschreibt ein Werkzeug, nicht einen Geist, der darauf ausgelegt ist, die Hand zu überlisten, die zum Schalter greift.
Mythos 06
"KI global zu regieren bedeutet Weltregierung."
Es tut es nicht. Der Atomwaffensperrvertrag, das Chemiewaffenverbot und das Ozonvertrag beschränken jeweils eine gefährliche Aktivität ohne dass jemand Souveränität an einen Weltstaat abgibt. Ein Vertrag über Frontier-KI würde dasselbe eng gefasste Ziel verfolgen: die Entwicklung der gefährlichsten Systeme begrenzen, nicht entscheiden, wer wen regiert.
Mythos 07
"Man kann es nicht verifizieren. Es ist nur Software auf einem Server irgendwo."
Sie überprüfen nicht die Software; Sie überprüfen die Hardware. Das Training eines Frontier-Modells erfordert enorme, nachverfolgbare Mengen an Rechenleistung von wenigen identifizierbaren Chipherstellern, und diese Lieferkette kann überwacht werden. Chip-Tracking, Limits für große Cluster und Vor-Ort-Inspektion eine Obergrenze durchsetzbar machen.
Mythos 08
"Regulierung wird Innovation ersticken und den Rücksichtslosen den Sieg lassen."
Die Linie verläuft um den autonomen allgemeinen Geist, nicht um KI als Ganzes. Die engen Systeme, die Krankheiten heilen und Wetter vorhersagen weiterlaufen unberührt. Und „die Rücksichtslosen gewinnen lassen“ hat es verkehrt herum: Der Sinn eines verbindlichen, verifizierten Vertrags ist es, die Rücksichtslosen aufzuhalten, nicht die Vorsichtigen zu fesseln, während andere vorausstürmen.
Mythos 09
"Es ist verfrüht. Man kann etwas, das noch nicht existiert, nicht regulieren."
Wir regulieren ständig im Vorfeld von Schäden: klinische Studien, bevor ein Medikament ausgeliefert wird, Kontrollen über nukleares Material, bevor es missbraucht wird, Luftfahrtregeln, die vor dem Absturz geschrieben werden. Auf die Katastrophe zu warten, ist das Versagen. Die Vertrags- und Verifikationssysteme brauchen Jahre, um aufgebaut zu werden, daher bedeutet ein Start nach dem Eintreffen der Superintelligenz, zu spät zu starten, und das ist der Fehler ohne zweiten Versuch.
Mythos 10
"Demokratien sind zu langsam und unterwandert, ein Vertrag wird niemals durchkommen."
Wähler unterstützen bereits strenge KI-Regeln über Parteigrenzen hinweg, und harte Vereinbarungen sind zuvor unter Druck zustande gekommen, der Vertrag zum Verbot atmosphärischer Tests, der Ozon-Vertrag, Rüstungskontrollabkommen auf dem Höhepunkt des Kalten Krieges. Langsam ist nicht dasselbe wie nie. Öffentliche Besorgnis in Recht umzuwandeln ist die Arbeit, für die eine Bewegung existiert.
Mythos 11
"Wenn wir langsamer machen, rast China einfach voraus und gewinnt."
Ein Wettrennen um etwas zu bauen, das niemand kontrollieren kann, hat keinen Gewinner; eine unkontrollierbare Superintelligenz ist für Peking ebenso fatal wie für Washington, weshalb eine verifizierte gegenseitige Grenze dient dem Interesse jeder Regierung. Es gibt keine Hinweise, dass China zu unkontrolliertem ASI sprinten will, und „sie könnten abtrünnig werden“ ist das Argument für einen Vertrag mit Inspektionen, nicht dafür, zuerst vom Kliff zu fahren.
Mythos 12
"Superintelligenz zu stoppen bedeutet, auf die Vorteile von KI zu verzichten."
Nahezu jeder Nutzen, den Menschen nennen (neue Medikamente, günstige saubere Energie, schnellere Entdeckungen), stammt von schmaler KI ohne eigene Ziele, und sie trifft bereits ein. Die gute Zukunft ist ein Werkzeugproblem, nicht etwas, das nur eine Nachfolgespezies uns reichen kann. Die Weigerung, einen Geist zu bauen, der uns ersetzt ist es, was diese Zukunft erreichbar hält.
01

KI-Sicherheitsrisiko in verständlicher Sprache

Was Superintelligenz ist, warum sie gefährlich ist und was dagegen getan werden kann, erklärt ohne Fachjargon. Die klarste einseitige Einführung in das Thema.

02

Der wissenschaftliche Konsens

Wichtige Zitate von Nobelpreisträgern, Turing-Preisträgern und leitenden Forschern, die KI gebaut haben, neben der Zeitachse der eskalierenden Expertenwarnungen von 2014 bis heute.

03

Ein Briefing für politische Entscheidungsträger

Der Fall für eine internationale KI-Sicherheitsregierung: das Problem, warum bestehende Rahmenwerke unzureichend sind und welche konkreten Maßnahmen Regierungen jetzt ergreifen können, nach Vorbildern, die funktioniert haben.

04

Argumente für Unterstützer

Die fünf häufigsten Einwände gegen KI-Sicherheitsbedenken und wie man auf jeden mit Genauigkeit und Zuversicht antwortet. Geschrieben für Gespräche mit Skeptikern, politischen Entscheidungsträgern und Kollegen.

05

Superintelligenz, vier Infografiken

Vier visuelle Einseiter zu den Risiken der Superintelligenz, der Governance-Lücke, historischen Präzedenzfällen, die zeigen, dass Handeln möglich ist, und dem Inhalt eines verbindlichen internationalen KI-Vertrags.

06

Einfache Visualisierungen

Vier markante visuelle Karten: die Schätzung der Aussterbewahrscheinlichkeit, die Lücke in der Investitionssteuerung, die Vertragspräzedenzfälle, die zeigen, dass globales Handeln funktioniert, sowie die Anforderungen an einen verbindlichen KI-Vertrag.

07

Prävention, kein Aufschub

Warum eine vorübergehende Verlangsamung die falsche Forderung ist. Der Fall für ein dauerhaftes Verbot von Superintelligenz, während enge KI weiterläuft.

08

Niemals Superintelligenz bauen

Irreversibilität, fehlausgerichtete Ziele und warum "wir reparieren es später" scheitert, sobald ein System seine Macher überdenkt. Der Ablehnungsfall auf einer Seite.

09

Der Mythos vom China-Rennen

Warum „wenn wir langsamer machen, gewinnt China“ ein Rennen beschreibt, das niemand gewinnen kann, und wie man darauf mit Verifikation statt mit einem Sprint antwortet.

10

KI behalten. Superintelligenz stoppen.

Die klare Linie zwischen nützlichen schmalen Werkzeugen und einem autonomen allgemeinen Geist. Pro-KI für Werkzeuge; anti-ASI für Geister, die wir nicht kontrollieren können.

11

Wie ein Vertrag überprüft werden kann

Man überwacht nicht die Gewichte. Man überwacht die Hardware: Chip-Tracking, Cluster-Lizenzen, Inspektionen und Foundry-Regeln in verständlichem Deutsch.

12

Was ein verbindlicher KI-Vertrag enthalten muss

Sechs Klauseln, die eine echte Vereinbarung von einer Pressemitteilung unterscheiden: Verbot, Rechenleistungskontrollen, Inspektorat, nationales Recht, Ausnahmen und nur evidenzbasierte Änderungen.

13

Alignment ist nicht der Plan

Technische Sicherheitsforschung ist wichtig; sie ist kein Freifahrtschein zum Wettrennen, und jegliche Finanzierung, die wir haben, sollte dorthin fließen. Prävention zuerst; Forschung ohne kommerziellen Druck im Nacken.

14

In fünf Minuten erklärt

Ein gesprochenes Gesprächsskript: Warnungen der Entwickler, was Superintelligenz ist, warum das Ausstecken versagt, die China-Linie und eine saubere Landung bei konkreten Maßnahmen.

15

Was Sie diese Woche tun können

Eine konkrete Checkliste für persönliche Reichweite, politische Reichweite, One-Hour-Modus und Platform-Modus. Wähle zwei. Beende sie.

16

Einminütiges Briefing

Leave-behind für Entscheidungsträger: drei Statistiken, drei Forderungen, der Präventionsrahmen und die China-Einwände in Mitarbeiterlänge beantwortet.

17

Die Lücke bei der Sicherheitsfinanzierung

~190 Mio. $ in Sicherheit versus über 250 Mrd. $ in Fähigkeiten. Wohin der dünne Sicherheitstopf fließt und was statt Theater zu finanzieren ist.

18

Warum kluge Systeme Kontrolle abwehren

Instrumentelle Konvergenz ohne Fachjargon: Selbsterhaltung, Ressourcen, Widerstand gegen Änderungen und das Intelligenterwerden als gewöhnlicher Optimierungsdruck.

Zwölf Poster, entnommen aus den Erklärern auf dieser Website.

01

Der Paperclip-Maximierer

Ein kompetentes System mit dem falschen Ziel kann die Welt ruinieren, ohne jemanden zu hassen.

PNG herunterladen
02

Die Orthogonalitätsthese

Intelligenter bedeutet nicht automatisch sicherer oder freundlicher.

PNG herunterladen
03

Das KI-Ausrichtungsproblem

Die Lücke zwischen dem Ziel, das wir aufschreiben, und dem Ergebnis, das wir tatsächlich brauchen.

PNG herunterladen
04

Die tückische Wendung

Ein fehlaligniertes System kann jeden Test bestehen, bis die Abweichung der gewinnbringende Zug ist.

PNG herunterladen
05

Schrittweise Entmachtung

Kontrolle kann eine vernünftige Entscheidung nach der anderen wegfließen, ohne einen Ausbruchsmoment.

PNG herunterladen
06

Das Wettrüsten um Superintelligenz ist ein Mythos

Ein Wettrennen um etwas, das niemand halten kann, hat keinen Gewinner.

PNG herunterladen
07

Wir haben es schon einmal geschafft

NPT, Montreal und die CWC zeigen, dass Koordination bei existenziellen Risiken möglich ist.

PNG herunterladen
08

Unser Plan: Weg zu einem Vertrag

Heutiges Wettrennen, dann ein verbindlicher Superintelligenz-Vertrag mit Überwachung und Durchsetzung.

PNG herunterladen
09

Was ist P(doom)?

Expertenbereiche für katastrophale KI-Ereignisse und warum kleine Wahrscheinlichkeiten dennoch Handeln erfordern.

PNG herunterladen
10

Handeln Sie: Wählen Sie Ihre Rolle

Konkrete Rollen beim Aufbau der Koalition hinter einem verbindlichen Vertrag.

PNG herunterladen
11

Die Intelligenzexplosion

Rekursive Selbstverbesserung, und wie das Fenster von menschlichem Niveau zu unumkehrbar kollabieren kann.

PNG herunterladen
12

Warum Superintelligenz nicht wie andere Risiken ist

Oberflächliche Beruhigungen versus die tiefen Mechanismen der Bedrohung.

PNG herunterladen

Rund 190 Millionen Dollar fließen jährlich in die KI-Sicherheit – Forschung, Evaluierungen, Politik und Advocacy zusammen. Zwischen Herkunft des Geldes und Verwendungszweck umschalten, basierend auf den neuesten öffentlichen Schätzungen.

  • Open PhilanthropyVon Good Ventures unterstützt; der größte Einzelspender des Feldes $50M 26%
  • Interne Sicherheitsteams der Frontier-LabsSicherheitsforschungsbudgets bei Anthropic, OpenAI, Google DeepMind $35M 18%
  • Survival & Flourishing FundJaan Tallinn-unterstützte Förderrunden; zweitgrößte philanthropische Quelle $30M 16%
  • UK RegierungAI Security Institute, ARIAs Programm für geschützte KI $30M 16%
  • Andere Philanthropie & individuelle SpenderLongview Philanthropy, Long-Term Future Fund, individuelle Spender $25M 13%
  • US, EU & andere RegierungenNIST CAISI, EU AI Office, NSF-Sicherheitsprogramme $20M 11%
Zum Vergleich: globale Investitionen in KI Fähigkeiten jetzt übersteigt $250 Milliarden pro Jahr, mehr als 1000 x was in die Sicherheit fließt. Weniger als ein Zehntel eines Prozents des Geldes, das in diese Technologie fließt, wird für ihre Sicherheit aufgewendet.

Zahlen sind gerundete Mittelpunkt-Schätzungen für 2023-2025, zusammengestellt aus öffentlichen Quellen: die Überblick über KI-Sicherheitsfinanzierung (aktualisiert Anfang 2025), 80.000 Stunden, ein Analyse der Förderdatenbank von Open Philanthropy, und Innerhalb der Philanthropie. Veröffentlichte Gesamtsummen reichen je nach Zählweise von etwa 110 Mio. $ bis 250 Mio. $ pro Jahr. Das Diagramm nach Verwendung ordnet die Zuwendungen jedes Geldgebers nach Kategorie und summiert über alle Geldgeber; die vollständige Berechnung steht in unser Artikel zur Finanzierungslücke.

Jeder große Akteur im Superintelligenz-Kampf, sortiert nach Trajektorie: verhindern, regieren oder bauen.

Das Feld öffnen

Einfache Definitionen der Begriffe, die in dieser Debatte verwendet werden: Superintelligenz, Alignment, instrumentelle Konvergenz und der Rest.

Glossar öffnen