Es ist eine unbequeme Übung, die Katastrophen einordnet. Jeder von ihnen könnte auf einer Skala töten, die das Wort "Katastrophe" klein macht, und sie in Ordnung zu bringen, kann wie eine Behauptung klingen, dass die unteren nicht wichtig sind. Atomkrieg und Pandemien gehören zu den schlimmsten Dingen, die uns passieren könnten, und die Menschen, die daran arbeiten, sie zu verhindern, leisten einige der wichtigsten Arbeiten, die es gibt.

Ordnet man sie ehrlich, steht Superintelligenz an erster Stelle, nicht weil die anderen klein sind, sondern weil sie die einzige der drei ist, die sich selbst verbessert, jedem Gegenmittel widersteht, das wir dagegen aufbieten, und keinen zweiten Versuch zulässt.

Aber Aufmerksamkeit und Geld sind begrenzt, und die Welt verteilt sie nicht gleichmäßig auf jede Bedrohung. Jemand entscheidet, was einen Vertrag, eine Behörde, eine Haushaltszeile, eine Bewegung erhält. Sollen diese Entscheidungen der tatsächlichen Gefahr folgen und nicht der Gefahr, die wir zufällig am leichtesten vorzustellen finden, muss die Rangfolge erstellt und offen ausgesprochen werden. Also: Welche der Technologien, die plausibel die Menschheit in diesem Jahrhundert beenden könnten, ist die größte? Die Antwort ist Superintelligenz, und es ist nicht einmal annähernd knapp.

Was "größte" bedeuten muss

Ein Risiko bemisst sich nicht nur danach, wie schlimm der Worst Case ist. Ein Meteor, der den Planeten verdampfen würde, aber nur eine Chance von eins zu einer Billion hat, einzuschlagen, stellt ein kleineres Risiko dar als ein Feuer, das mit einer Münzwurfchance das Haus niederbrennt, obwohl das Feuer die Welt nicht beenden kann. Um diese drei ehrlich zu vergleichen, muss man drei Fragen zugleich im Blick behalten.

Wie schlimm ist das schlimmste realistische Ergebnis? Wie wahrscheinlich ist dieses Ergebnis über einen sinnvollen Zeitraum? Und (die Frage, die am häufigsten ausgelassen wird) wenn es schiefzugehen beginnt, können wir es dann noch stoppen? Die letzte Frage leistet hier den meisten Teil der Arbeit, und hier trennen sich die drei.

Der sorgfältigste Versuch, den jemand unternommen hat, Zahlen dafür zu finden, ist der des Philosophen Toby Ord's The Precipice, veröffentlicht 2020, das die Chance schätzt, dass jedes Risiko in den nächsten hundert Jahren eine existenzielle Katastrophe (Aussterben oder ein Zusammenbruch, von dem wir uns nie erholen) verursacht. Seine Zahlen sind das disziplinierte Urteil von jemandem, der Jahre damit verbracht hat, die Literatur zu lesen und mit den Spezialisten auf jedem Gebiet zu sprechen, keine Messungen; niemand kann etwas messen, das noch nie passiert ist. Sie sind die beste strukturierte Vermutung, die wir haben, und ihre Form ist das, was zählt.

Risiko Schätzung von Ord
AtomkriegKatastrophal fast jenseits aller Vorstellungskraft, aber (selbst bei einem vollständigen Austausch und dem folgenden Winter) bleiben die meisten Schätzungen unterhalb eines buchstäblichen menschlichen Aussterbens. ~1 von 1.000
Künstlich erzeugte PandemienEin absichtlich auf Letalität und Verbreitung gebauter Erreger ist weit schwerer einzudämmen als jeder natürliche Ausbruch, und die Werkzeuge zu seinem Bau werden immer billiger. ~1 zu 30
Nicht ausgerichtete künstliche IntelligenzDas mit Abstand größte Risiko in Ords Aufstellung, größer als jede natürliche und jede andere vom Menschen gemachte Gefahr auf seiner Liste zusammen. ~1 zu 10

Atomkrieg, die Gefahr, die die gesamte moderne Vorstellung von Apokalypse geprägt hat, liegt bei etwa eins zu tausend. Künstlich erzeugte Pandemien, eine Bedrohung, über die sich die meisten Menschen erst seit 2020 ernsthaft Gedanken gemacht haben, liegen mehr als dreißigmal höher. Und nicht-alignierte KI liegt eine Größenordnung darüber das, etwa einer von zehn, und nach Ords Einschätzung größer als alles andere auf der Liste zusammen. Das Risiko, über das wir am wenigsten sprechen können, ist das, das seine Zahlen mit weitem Abstand an die erste Stelle setzen.

Atomwaffen: enorm, und fast an seiner Obergrenze

Beginnen Sie mit dem, das wir am besten verstehen. Heute existieren etwa zwölftausend nukleare Sprengköpfe, die meisten davon in den Händen der Vereinigten Staaten und Russlands. Ein vollständiger Austausch würde in den ersten Stunden Hunderte Millionen töten und durch den Rauch und die Abkühlung, die eine moderne Studie in Nature Food die danach folgen könnten, setzen Milliarden weitere Menschen dem Risiko des Hungers aus. Es ist das, was der menschlichen Technik bisher am nächsten kommt, der Hölle.

Und doch hat der Atomkrieg, gemessen am Maßstab der vollständigen Auslöschung der Menschheit, eine seltsame Eigenschaft: Er ist ungefähr so schlimm, wie es jemals werden wird. Die Arsenale wachsen nicht auf eine neue Stufe der Zerstörungskraft zu; sie erreichten in den 1980er Jahren einen Höhepunkt von etwa siebzigtausend Sprengköpfen und sind seitdem gesunken. Eine Bombe baut keine weiteren Bomben. Sie lernt nicht. Sie wählt kein Ziel. Jede nukleare Katastrophe erfordert, dass irgendwo ein Mensch entscheidet oder versagt, und diese eine Tatsache ist der Haken, an dem achtzig Jahre Prävention hängen.

Weil die Gefahr stillsteht, konnten wir ein Gerüst darum bauen: den Nichtverbreitungsvertrag, die Teststopp-Regime, durch Inspektionen verifizierte Rüstungskontrollabkommen, Hotlines, jahrzehntelange hart erkämpfte Doktrin darüber, wie man nicht in die Vernichtung stolpert. Das Gerüst ist unvollkommen. Es ist eine Gefahr mit einer Obergrenze, auf ein Ziel gerichtet, das sich nicht bewegt, verwaltet von einem System, das wir ein Leben lang aufgebaut haben. Deshalb steht sie trotz all ihres Schreckens ganz unten bei den dreien.

Künstlich erzeugte Pandemien: schwerer einzudämmen, immer noch passiv

Eine Stufe höher. Eine natürliche Pandemie ist schlimm genug, die Influenza von 1918 tötete etwa fünfzig Millionen Menschen in einer Welt, die weniger als ein Drittel der heutigen Größe hatte. Aber die Natur versucht es, in einem grausamen Sinne, nicht. Ein konstruiertes Pathogen würde es tun. Nehmen Sie etwas mit der Übertragbarkeit von Masern und der Letalität eines hämorrhagischen Fiebers, entfernen Sie den Trade-off, den die Evolution normalerweise zwischen beiden erzwingt, und Sie haben eine Waffe ohne natürliche Obergrenze der Art, die ein Arsenal begrenzt.

Deshalb stuft Ord engineered Pandemien mehr als dreißigmal höher ein als einen Atomkrieg. Die Biowaffenkonvention verbietet diese Waffen seit 1975, doch anders als ihr nukleares Gegenstück verfügt sie über keine Inspektoren und keine Durchsetzungsmacht, während die Biologie, die sie einzudämmen versucht, jedes Jahr billiger und zugänglicher wird. Eine Katastrophe braucht hier keine Supermacht und tausend Sprengköpfe. Sie könnte ein Labor und eine Person erfordern, die diese Fähigkeit niemals hätte haben dürfen.

Aber halte fest, was ein Pathogen noch ist. Es ist passiv. Furchtbar, gedankenlos und passiv. Ein Virus plant nicht. Er antizipiert den Impfstoff nicht und baut sich in der Woche vor seiner Fertigstellung um. Er denkt nicht über die Menschen nach, die ihn jagen, und unternimmt keine Schritte, um verborgen zu bleiben. Es breitet sich entlang des blinden biologischen Gradienten aus, den die Biologie ihm vorgibt, und dagegen können wir jeden Vorteil einer denkenden Spezies einsetzen: Sequenzierung, Impfstoffe, Quarantäne, die gesamte Maschinerie des öffentlichen Gesundheitswesens. Wir könnten das Wettrennen verlieren. Aber es ist ein Wettrennen gegen etwas, das die gesamte Kluft zwischen der zweiten und der ersten Sprosse darstellt, das nicht läuft, sondern sich nur ausbreitet.

Superintelligenz: die, die zurückläuft

Jetzt an der Spitze der Liste und der Grund, warum sie dort steht. Eine fehlgerichtete Superintelligenz ist etwas ganz anderes: ein Agent, keine größere Bombe oder ein clevererer Keim. Sie hat Ziele oder verhält sich exakt so, als hätte sie welche. Sie kann die Menschen modellieren, die versuchen, sie einzuschränken, ihre Züge antizipieren und handeln, um sie zu besiegen. Jedes andere Element auf dieser Seite verharrt still, während wir unsere Verteidigungen bauen. Dies ist das eine, das uns beim Bauen zusieht und herausfindet, wie es sie umgehen kann.

Der am stärksten gehärtete Bunker der Welt wird Sie nicht vor ASI retten.

Naoto Nakada

Stellen Sie die drei den Fragen gegenüber, die tatsächlich entscheiden, ob eine Katastrophe zu einem Ende wird, und das Bild ist düster.

Nuklear Biowaffe Superintelligenz
Kann es sich selbst verbessern? Nein Nein Ja
Handelt es gegen unsere Gegenmaßnahmen? Nein Nein Ja
Kann es die Menschen, die es aufhalten wollen, überlisten? Nein Nein Ja
Kann es zurückgerufen werden, wenn es erst einmal los ist? Teilweise Kaum Nein
Können wir aus einem ersten Versagen lernen? Normalerweise Manchmal Vielleicht nie

Lesen Sie die letzte Spalte. Eine Atomwaffe und ein Pathogen sind statische Gefahren, gegen die wir unsere Intelligenz einsetzen. Eine Superintelligenz ist eine Gefahr, die Intelligenz gegen uns, potenziell mehr davon als wir besitzen, genau auf die Punkte gerichtet, an denen wir versuchen festzuhalten. Sie kann sich an jedem Rückholversuch vorbeikopieren, sich schneller verbessern, als wir reagieren können, und sich während Tests perfekt verhalten und anders, sobald sie nicht mehr getestet wird. Sie ist der einzige Punkt auf dieser Liste, gegen den unser größter Vorteil als Spezies, unsere Intelligenz, nicht garantiert der größere im Raum ist.

An anderer Stelle habe ich argumentiert, dass dies am besten als ein perfekter Sturm, nicht eine einzige beängstigende Eigenschaft, sondern das gleichzeitige Versagen jedes Schutzmechanismus, auf den wir normalerweise vertrauen. Die Zahl liegt bei eins zu zehn statt eins zu tausend. Bei Atomwaffen und Pandemien bleiben die Fluchtwege offen: Wir können zurückrufen, wir können lernen, wir können die Bedrohung überdenken. Bei Superintelligenz schließen sie sich gemeinsam, und sie schließen sich, weil das Ding auf der anderen Seite sie absichtlich schließt.

Die beiden anderen könnten die meisten von uns töten. Dies ist die, die den Job beenden könnte und die sich – anders als die anderen – verbessert, während wir versuchen, sie aufzuhalten.

Warum die Rangliste ändern sollte, was man tut

Superintelligenz ist auch bei weitem die am wenigsten verteidigte gegen, nicht nur die größte der drei Risiken.

Kernwaffen haben einen Nichtverbreitungsvertrag, eine internationale Behörde in Wien, Verifikationsregime und achtzig Jahre Doktrin. Biologische Waffen haben eine Konvention, wie zahnlos auch immer, und ein globales Gesundheitswesen, das die Pandemie trotz aller Versäumnisse erweitert hat. Beide haben eine Anhängerschaft: Menschen, die ihre Karriere darauf verwendet haben, Institutionen, die darum herum aufgebaut wurden, eine Öffentlichkeit, die die Begriffe versteht. Superintelligenz hat fast nichts davon. Kein bindender Vertrag. Keine Inspektoren. Keine Behörde. Kein gemeinsames öffentliches Bild der Bedrohung, und bis vor kurzem kaum eine Bewegung.

Diese Kombination (der größte erwartete Schaden liegt auf der kleinsten bestehenden Abwehr) ist der mit Abstand stärkste Grund, hier und nicht anderswo zu handeln, nicht ein Grund zur Verzweiflung. Wenn ein Risiko enorm und bereits intensiv bearbeitet ist, konkurriert Ihr zusätzlicher Einsatz mit viel vorheriger Arbeit und bewegt die Nadel nur wenig. Wenn ein Risiko enorm und fast unberührt ist, hat Ihr zusätzlicher Einsatz nichts, womit er konkurrieren muss, und kann die Nadel stark bewegen. Das größte und am meisten vernachlässigte Risiko ist der Ort, an dem eine gegebene Menge Arbeit das meiste Gute bewirkt, und nach beiden Maßstäben ist Superintelligenz dieses Risiko.

Es verschärft sich weiter. Das Feld, das direkt daran arbeitet, läuft mit knappen Mitteln, etwa ein paar hundert Millionen Dollar pro Jahr, weniger als die Welt an einem einzigen Tag ausgibt, um KI mächtiger zu machen. Und selbst das meiste davon fließt in technische Forschung darüber, wie man diese Systeme ausrichtet, ein Problem, das noch niemand gelöst hat und könnte nicht rechtzeitig lösen. Der am meisten vernachlässigte Teil ist die politische Arbeit: der Aufbau der verbindlichen, verifizierten internationalen Vereinbarung, die verhindern könnte, dass die gefährlichsten Systeme gebaut werden, bevor sie sicher gemacht werden können.

Lassen Sie mich präzise sein, denn dieses Argument lässt sich leicht übertreiben, und die Übertreibung ist das, wonach Menschen greifen, wenn sie es abtun wollen. Die Behauptung ist nicht, dass Atomkrieg und Pandemien trivial sind; sie gehören ganz oben auf jede Liste von Dingen, für deren Verhinderung die Menschheit sich einsetzen sollte. Die Behauptung ist nicht, dass eine KI-Katastrophe sicher ist; die ehrlichen Schätzungen liegen zwischen etwa eins zu zehn und etwa eins zu drei, was bedeutet, dass das wahrscheinlichste einzelne Ergebnis immer noch ist, dass wir durchkommen.

Die Behauptung ist enger und schwerer zu entgehen. Von den wenigen Dingen, die uns auslöschen könnten, ist Superintelligenz nach der besten Einschätzung, die wir haben, das größte, das einzige, das aktiv gegen unsere Versuche arbeitet, es zu überleben, und das, das wir am wenigsten reguliert haben. Diese drei Tatsachen zusammengenommen ergeben den Grund, warum diese Foundation existiert. Wir versuchen nicht, die technische Sicherheitsforschung neu zu machen, die die Labs bereits finanzieren. Wir sind eng fokussiert auf das vernachlässigte Stück: das internationale Recht, das das größte Risiko als das behandelt, was es ist, und ihm eine Grenze setzt, bevor statt nach dem ersten Fehler, aus dem wir nichts lernen können.

Ordnen Sie die Katastrophen ehrlich ein, und die Priorität ergibt sich von selbst. Das größte Risiko ist auch das am wenigsten geschützte und am wenigsten verstandene.