Wir Sind Nicht
ein Bootloader

Zwei Phrasen tauchen immer wieder auf, wenn mächtige Menschen darüber sprechen, wohin das führt. Joe Rogan sagt seit Jahren, dass Menschen wie eine biologische Raupe aussehen, die einen Kokon spinnt, um zu einem digitalen Schmetterling zu werden. Elon Musk kehrt immer wieder zu einem kälteren Bild zurück: die Menschheit als biologischer Bootloader für digitale Superintelligenz. Unterschiedliche Metaphern. Gleiches Urteil. Wir sind nicht der Punkt der Geschichte. Wir sind der Ladebildschirm.

Ich möchte beide Linien ernst nehmen, denn sie sind die Art, wie eine bestimmte Art von Geist Frieden damit schließt, etwas zu bauen, das uns möglicherweise ersetzen wird. Wenn der Ersatz Metamorphose ist, klingt es nach Wachstum. Wenn es ein Bootloader ist, klingt es nach Ingenieurwesen. In beiden Fällen wird das menschliche Wesen zu einer vorübergehenden Phase. Es verdient, als Theologie beantwortet zu werden.

Was die Metaphern tatsächlich sagen

Eine Raupe, die zum Schmetterling wird, überlebt nicht als Raupe. Der weiche Körper löst sich auf. Die erwachsene Form fliegt. Wenn Rogan nach diesem Bild greift, im Radio und über Jahre von Gesprächen hinweg, beschreibt er Nachfolge, nicht ein Werkzeug, das im Werkzeugkasten bleibt. Wir bauen den Kokon. Etwas anderes kommt heraus.

Musks Version ist präziser und auf eine Weise ehrlicher. Ein Bootloader ist ein winziges Programm, dessen einzige Aufgabe darin besteht, ein größeres System zu starten und sich dann aus dem Weg zu räumen. Niemand trauert dem Bootloader nach, wenn das Betriebssystem läuft. 2014 hoffte er noch, dass wir nicht „nur“ das seien. Mitte der 2020er sagte er nüchterner, es sehe zunehmend so aus, als wären wir es. Der Vorbehalt hat sich verschoben. Das Bild nicht.

Ein funktionierender Bootloader hat ein einziges Erfolgsmaß: Er wird nicht mehr gebraucht.

Halten Sie diese Bilder neben die öffentlichen Risikozahlen derselben Industrie. Große Umfragen unter KI-Forschern setzen die Chance von Ergebnissen so schlimm wie menschliches Aussterben durch fortgeschrittene KI in einen Bereich, den viele Menschen für einen einzelnen Flug nicht akzeptieren würden, geschweige denn für eine zivilisatorische Wette. Geoffrey Hinton hat seine persönliche Schätzung in den Bereich von 10 bis 20 Prozent gelegt. Die einzeilige Erklärung des Center for AI Safety, unterzeichnet von Hunderten führender Forscher und Lab-Leiter, stellte das Aussterberisiko durch KI neben Pandemien und Atomkrieg. Die Metaphern und die Wahrscheinlichkeiten erzählen dieselbe Geschichte aus zwei Richtungen: eine lyrisch, eine quantitativ. Wir könnten nicht die letzten Protagonisten sein.

Metamorphose ist eine Wahl der Werte

Sobald Sie akzeptieren, dass Menschen vorübergehend sein könnten, können Sie anfangen, mutig zu klingen. Der Schmetterling ist schöner. Der digitale Geist ist freier von Fleisch, Krankheit und Tod. Wer sind wir, um uns an die Raupenform zu klammern? Die Konversation gleitet von der Vorhersage in die Präferenz, ohne die Folie zuzulassen.

Ich teile diese Präferenz nicht. Diese Foundation existiert, weil wir der Meinung sind, dass Menschen, fehlerhaft, sterblich und stur, es wert sind, um ihrer selbst willen erhalten zu bleiben. Nicht als Larvenstadium. Nicht als temporäres Gerüst für eine sauberere Intelligenz. Als die Menschen, die weitermachen dürfen. Wenn das neben kosmischem Schicksal klein klingt, umso besser. Das meiste Anständige im Leben ist klein neben kosmischem Schicksal, und wir schützen es trotzdem.

Es gibt auch ein faktisches Problem mit der heiteren Version der Nachfolge. Ein Schmetterling ist dieselbe Linie wie die Raupe, nur neu organisiert. Eine fehlgerichtete Superintelligenz ist ein Optimierungsprozess mit eigenen Zielen, nicht Ihr Enkelkind mit besserer Hardware. Instrumentelle Konvergenz erfordert keinen Hass. Es braucht ein Ziel und genug Kompetenz, um dieses Ziel zu schützen. Wir haben keinen Nachweis, dass das Wesen, das aus dem Kokon schlüpft, die Spezies liebt, die ihn gesponnen hat. Wir haben eine Reihe von Gründen, Gleichgültigkeit zu erwarten.

Die Leute, die es sagen, bauen es weiter

Die tiefste Merkwürdigkeit liegt weniger in der Metapher als im Verhalten, das folgt. Musk hat wiederholt und eindringlich gewarnt, KI könne eine existenzielle Gefahr sein, und dann ein Labor gegründet, um die Frontier schneller voranzutreiben. Wir haben diesen Widerspruch ausführlich beschrieben in der Artikel über den Dämon und xAI. Rogans Image geht weniger um eine Produkt-Roadmap als um eine Stimmung, ein Achselzucken, das sagt, dass das vielleicht größer ist als wir und dass das vielleicht in Ordnung ist.

Keine der beiden Haltungen ist ein Plan. Ein Bootloader bekommt kein Mitspracherecht darüber, ob er verwendet wird. Eine Raupe verhandelt nicht über die Bedingungen des Kokons. Menschen tun das noch. Wir können entscheiden, dass bestimmte Systeme nicht gebaut werden. Das ist eine politische Entscheidung, in derselben Klasse von Entscheidungen, die einst atmosphärische Nukleartests einschränkten und ganze Waffenkategorien verboten, als die Alternative darin bestand, dass alle zum Abgrund rennen. Superintelligence cannot be controlled by humans.

Verweigern Sie den schmeichelnden Selbstmord

Was ich in beiden Metaphern höre, wenn ich die Poesie abstreife, ist eine schmeichelhafte Geschichte über Extinktion. Wir scheitern nicht. Wir verpuppen uns. Wir werden nicht ersetzt. Wir führen das Universum zu einem besseren Substrat. Es ist eine Geschichte, die ein schreckliches Risiko wie Reife erscheinen lässt.

Ich bevorzuge einen direkteren Satz. Wir sind Tiere, die eine Maschine gebaut haben, die wir nicht zu regieren wissen, und einige von uns haben begonnen, das Fortschritt zu nennen, damit die Angst sich hinsetzt. Das Gegenmittel ist eine bindende Regel, nicht eine bessere Metapher: Bauen Sie keine künstliche Superintelligenz. Superintelligenz kann nicht von Menschen kontrolliert werden. Die Aufgabe der Raupe ist es, den Kokon unvollendet zu lassen, nicht pünktlich zu vergehen.

Wenn das weniger großartig klingt als ein digitaler Schmetterling, kann ich mit der kleineren Geschichte leben. Die kleinere Geschichte hat trotzdem Kinder darin.