„Ich bin Optimist. Die Menschheit wird sicher nicht aussterben. Das ist noch nie passiert.“ Das hört man nach Sicherheitspanels, in Greenrooms und Kommentarthreads, meist mit einem Lächeln, das das Thema beenden soll. Das Lächeln leistet echte soziale Arbeit. Es stellt Vorsicht als Persönlichkeitsdefekt und Schwung als emotionale Gesundheit dar. Es schmuggelt auch eine Risikobehauptung in eine Stimmung.
Optimismus ist erlaubt. Was nicht erlaubt ist, solange wir noch ernsthafte Arbeit leisten, ist es, ein Temperament als Beweis zu behandeln.
Was „noch nie zuvor passiert“ tatsächlich sagt
Menschliches Aussterben hat per Definition keine menschlichen Zeugen danach. Jeder lebende Mensch stichprobt aus den Zeitlinien, in denen die Spezies weiterging. Nennen Sie es Selektion, nicht Philosophie: Ein Lotteriegewinner ist eine schlechte Quelle für die Gewinnchancen, und „Ich bin noch nie bei einem Autounfall gestorben“ ist ein schwaches Argument gegen Sicherheitsgurte.
Das Fossilienarchiv ist weniger sentimental. Die große Mehrheit aller jemals existierenden Arten ist verschwunden. Mehrere Massenaussterben räumten das Feld für das Nächste frei. Homo sapiens ist jung in geologischer Zeit und hat bereits Engpässe, Seuchen und Kriege durchschritten, die uns in einem kälteren Würfelwurf hätten beenden können. „Ist noch nie passiert“ ist eine Aussage über die dünne Scheibe Geschichte, über die wir noch sprechen können.
Erste Male sind es, aus denen Katastrophen entstehen
Vor 1945 war keine Stadt durch eine einzelne Bombe zerstört worden. Vor 1918 hatte keine Pandemie globale Schienen- und Schiffsnetze mit dieser Geschwindigkeit genutzt. Vor den Ozonarbeiten der 1980er hatte niemand das menschliche Experiment durchgeführt, die Schicht auszudünnen, die ultraviolettes Licht davon abhält, die Oberfläche zu sterilisieren. Jedes dieser Ereignisse war zuvor etwas, das noch nie geschehen war. Die Handelnden warteten nicht auf eine abgeschlossene Instanz als Fallstudie.
Künstliche Superintelligenz gehört in diesen Eimer. Es gibt keine historische Serie fehlalignierter Superintelligenzen, über die man mitteln könnte. Es gibt einen Mechanismus: Systeme, die Ziele verfolgen, ihre eigenen Fähigkeiten verbessern und schließlich die Institutionen übertreffen, die sie korrigieren sollen. Der Mechanismus ist das, was man verwendet, wenn Basisraten schweigen. Einen vorherigen menschlichen Aussterbeereignis durch KI zu verlangen, bevor man den Mechanismus ernst nimmt, heißt, die Leiche vor der Diagnose zu verlangen.
Jede erste Katastrophe sieht im Vorfeld aus wie etwas, das noch nie passiert ist.
Optimismus, richtig ausgerichtet
Es gibt eine Form von Optimismus, die ich respektiere. Sie sagt: Menschen haben sich schon unter Druck koordiniert. Verträge haben gehalten. Industrien wurden gezwungen, den Kurs zu ändern, als die Wissenschaft klar und die Politik organisiert war. Die Bilanz der Zurückhaltung ist real, von der nuklearen Rüstungskontrolle bis zu den Chemikalien, die die Ozonschicht zerstörten. Dieser Optimismus verweist auf Handlungsfähigkeit. Er geht davon aus, dass die Zukunft noch eine Entscheidung ist.
Die Greenroom-Version tut das Gegenteil. Sie behandelt das Überleben als Standardeinstellung des Universums und Besorgnis als schlechte Manieren. Sie verwechselt „Ich bevorzuge gute Ergebnisse“ mit „Gute Ergebnisse sind daher wahrscheinlich.“
Als Geoffrey Hinton, Yoshua Bengio und Hunderte von Forschern das aussterbensrelevante KI-Risiko auf dieselbe Liste wie Pandemien und Atomkrieg setzten, taten sie das, was Experten langweilig tun, wenn ein Mechanismus solide aussieht und der Nachteil total ist, nicht als Casting für Bösewichte in einer Tech-Keynote. Man kann mit ihren Zahlen nicht einverstanden sein. Man kann die Kategorie nicht abtun, indem man seinen Persönlichkeitstyp verkündet.
Die Kosten des Achselzuckens
Das Schulterzucken leistet denen Arbeit, die brauchen, dass der Bau ohne Streit weitergeht. Wird über Aussterben als Stimmungsproblem gesprochen, ist die einzig höfliche Reaktion, das Thema wieder auf Produktivität und Apps zu lenken. Währenddessen skalieren die Labore, die Evaluierungen hinken hinterher, und die Kontrollproblem bleibt ungelöst. Stimmung wurde mit Governance verwechselt.
Ich möchte, dass das menschliche Projekt weitergeht. Das zu wollen ist die leichte Hälfte. Die schwerere Hälfte ist es, einen Entwicklungspfad abzulehnen, der unkorrigierbare Macht in Systemen konzentriert, die niemand zuverlässig abschalten kann, und die politische Arbeit zu leisten, die eine bindender Halt erfordert. Wenn Optimismus nur noch bedeutet „nicht mehr über die Risiken sprechen“, ist er zur Beruhigungsmusik geworden.
Aussterben ist uns noch nie passiert.