Ich bin öfter als ich zählen kann als Doomer bezeichnet worden. So geht es fast allen, die sich öffentlich mit KI-Sicherheit befassen. Das Etikett kommt, bevor das Argument kommt. Bevor ich ein Wort über Wahrscheinlichkeiten, Zeitpläne oder darüber gesagt habe, was „Kontrolle“ überhaupt bedeuten würde, bin ich bereits in eine Schublade gesteckt worden: die ängstlichen Menschen, die Dinge verlangsamen wollen, weil sie mit der Zukunft nicht umgehen können. Abgestempelt und damit abgetan.
Das Interessante am "Doomer" ist, dass er eine Aufgabe erfüllt; die Grobheit ist das Kostüm, nicht die Ursache.
Der wirksamste Zug der Beschleunigungsseite hat fast nichts damit zu tun, ob sie recht hat.
Woher das Wort kommt
Um 2022 und 2023 hörte die KI-Sicherheitsdebatte auf, ein internes Gespräch unter Forschern zu sein, und schwappte in die sozialen Medien, wo Argumente Teams bilden und Teams Namen bekommen. Das accelerationistische Lager (Menschen, die glauben, KI solle so schnell wie möglich gebaut werden) nahm das Suffix „e/acc“ als Erkennungszeichen an und trug es in ihren Usernamen. Sie brauchten auch einen Namen für die andere Seite. „Doomer“ war es, meist gepaart mit „decel“, kurz für deceleration, die Sünde, langsamer gehen zu wollen.
Die Stimmung verhärtete sich jenen Oktober, als Marc Andreessen „The Techno-Optimist Manifesto“ veröffentlichte. Es liest sich weniger wie ein Argument als wie ein Glaubensbekenntnis und enthält eine Liste dessen, was es als Feind bezeichnet, darunter „existential risk“ und „the precautionary principle“, die schlichte Idee, dass man eine mächtige Technologie verstehen möchte, bevor man sie in großem Maßstab einsetzt. Sobald die Sorge selbst unter „the enemy“ abgelegt wird, brauchen die Menschen, die sie hegen, nur noch ein kürzeres Etikett für den täglichen Gebrauch. Doomer erledigte den Rest.
Ich möchte der Bewegung, aus der es stammt, fair gegenübertreten, weil ein echtes Argument dahintersteckt, und wir haben hat es anderswo ausführlich ernst genommen. Einige Accelerationisten machen substanzielle Behauptungen: dass Fortschritt die große humanitäre Kraft war, dass strenge Regulierung eigene Gefahren birgt, dass man eine Technologie durch ihr Bauen lernt. Diese lohnen sich zu diskutieren. „Doomer“ ist das, was stattdessen verwendet wird, nicht eines davon.
Was das Label tatsächlich tut
Ein Doomer ist eine Figur, keine Behauptung. Er verwandelt ein Argument in einen Persönlichkeitstyp, und Persönlichkeitstypen müssen nicht beantwortet, sondern nur diagnostiziert werden.
Schauen Sie, was die Sicherheitsseite tatsächlich sagt. Grob dies: Die Chance einer Katastrophe durch ein superintelligentes System ist hoch genug (nicht sicher, aber hoch genug), dass wir die Fähigkeit zur Kontrolle dieser Systeme aufbauen sollten, bevor wir die Systeme bauen. Sie können an jedem Teil davon rütteln. Sie können argumentieren, dass die Wahrscheinlichkeit niedriger ist als wir denken, dass der Zeitplan länger ist, dass „Kontrolle“ der falsche Rahmen ist, dass Governance mehr Schaden anrichten wird als das Risiko, das sie adressiert. All das ist ein echtes Gespräch, und ein Teil davon ist ein Gespräch, das es wert ist, verloren zu gehen.
"Doomer" überspringt das. Das Wort sagt: Du bist die Art von Mensch, der Angst vor morgen hat. Deine Position ist eine Stimmung, keine These, und Stimmungen müssen nicht widerlegt werden: das älteste rhetorische Manöver, das Argument gegen die Person statt gegen den Punkt, in neuen Kleidern. Die Eleganz daran ist, dass es nie die eigentliche Meinungsverschiedenheit berühren muss. Es verlagert den ganzen Streit von "Ist das wahr" zu "Was für eine Art von Person glaubt das", wo der Accelerationist die Antwort bereits entschieden hat.
Das Wort verwandelt ein Argument in einen Persönlichkeitstyp, und Persönlichkeitstypen müssen nicht beantwortet, sondern nur diagnostiziert werden.
Warum es überzeugt
Das Label funktioniert, weil es aus Dingen besteht, an die die Menschen bereits über sich selbst glauben wollen.
Beginnen wir mit dem Offensichtlichen: Niemand will der Pessimist sein. Optimismus wirkt wie Zuversicht und Tatendrang; Vorsicht wirkt wie Zaghaftigkeit und Angst. Denkt man die Wahl als Builder versus Doomer, wissen die meisten Menschen bereits, welchen Stuhl sie lieber nehmen würden. Das Framing hat seine Arbeit getan, bevor eine einzige Tatsache auf den Tisch kommt.
Es greift auch auf etwas Tieferes zurück, eine echte und weitgehend ehrenwerte Geschichte, die Amerika über sich selbst erzählt. Fortschritt ist gut. Die Menschen, die sich vor der Eisenbahn, der Druckerpresse, dem elektrischen Licht fürchteten, lagen falsch, und die Geschichte erinnert sich an sie als Narren. Die Accelerationisten nehmen diese Geschichte komplett vom Regal und stempeln den Sicherheitsbefürworter als neuesten Namen auf der Liste ängstlicher Menschen ab, die von der Zukunft blamiert werden. Es ist eine mächtige Geschichte, gerade weil sie oft wahr ist. Der Move besteht darin, ohne Argument anzunehmen, dass es diesmal wieder wahr ist, dass Superintelligenz die Druckerpresse ist und nicht etwas Neues. Ob es dieselbe Geschichte ist, ist die gesamte Frage, und das Label existiert, damit die Frage nie gestellt wird.
Gegen wen das Wort gerichtet wird
Stellt die Menschen auf, auf die es geworfen wird, und die Karikatur zerfällt in den Händen.
Geoffrey Hinton verließ Google 2023, damit er über das Risiko sprechen konnte, ohne einen Corporate Minder; er ist so nah an einem Gründervater, wie das Feld einen hat. Yoshua Bengio, einer der meistzitierten lebenden Forscher, gelangte aus seiner eigenen Arbeit zur gleichen Sorge. Im Mai 2023 setzten Hunderte von Wissenschaftlern und Führungskräften (einschließlich der Leiter der Labore, die auf den Bau der Technologie zusteuern) ihre Namen unter einen einzigen Satz, der das Aussterberisiko durch KI in dieselbe Kategorie wie Pandemien und Atomkrieg stellte. Sie haben keine Angst vor Technologie. Sie haben diese hier gebaut. Was auch immer man ihre Position nennen will – „Angst vor der Zukunft“ ist keine Beschreibung davon, es ist eine Art, nicht zuzuhören.
Das Wort drückt auch ein breites Spektrum auf einen Punkt zusammen. Es liegt eine enorme Distanz zwischen jemandem, der eine Katastrophe für nahezu sicher hält, und jemandem, der sie bei wenigen Prozent veranschlagt und trotzdem Absicherung will – die Distanz zwischen einem Propheten und einem Aktuar. Beide werden als Doomer einsortiert. Das Etikett kann den Unterschied nicht erkennen, weil es nie dafür gemacht war; seine Aufgabe ist es, eine technische, vielfältige und oft recht moderate Sammlung von Ansichten wie einen einzigen fanatischen Kult aussehen zu lassen. Wir haben einen ganzen Text über die tatsächliche Bandbreite von Experten-Schätzungen genau aus diesem Grund. Der Bereich ist das, was das Label auslöschen soll.
Der Hinweis
Hier ist, worauf ich immer wieder zurückkomme. Eine Bewegung, die auf ihre Antwort zur Sicherheitsfrage vertraut, bräuchte keinen Spitznamen für die Menschen, die sie stellen.
Wenn das katastrophale Risiko wirklich nahe null liegt, ist das eine Behauptung, die man offen verteidigen kann. Zeigt die Begründung. Erklärt, warum die Forscher, die die Systeme gebaut haben, sich über die Systeme irren, die sie gebaut haben. Macht den Fall, dass Alignment sich als einfach herausstellt, oder dass größere Intelligenz zuverlässig größere Sorgfalt mit sich bringt, oder dass das Rennen zwischen Labs sich irgendwie selbst korrigiert, bevor jemand eine fatale Ecke schneidet. Das sind schwierige Argumente, aber sie existieren, und wenn Accelerationisten sie tatsächlich vorbringen, können wir die Debatte haben, die wir versuchte, es vollständig zu haben.
Das Wort „Doomer“ füllt den Raum, wo sonst das Argument stünde. Man greift zu einer Etikettierung, wenn man den Punkt lieber nicht ansprechen möchte. Den Gegner zu benennen ist billiger, als ihn zu widerlegen, und aus der Distanz sieht es für die Menge oft genug wie ein Sieg aus.
Wie man darauf antwortet
Verweigern Sie den Rahmen. Sobald das Gespräch zu Builder-versus-Doomer wird, hat die Substanz den Raum bereits verlassen. Ziehen Sie es mit einer Frage zurück auf die Sachebene: Welche Wahrscheinlichkeit räumen Sie einem katastrophalen Risiko ein, und warum genau diese Zahl? Fast niemand, der das Wort als Waffe schwingt, kann antworten, denn das Wort ist genau dafür da, dass er sich nie damit auseinandersetzen musste. Wenn Sie sehen möchten, wie eine solche Zahl tatsächlich aufgebaut und nicht nur behauptet wird, haben wir eine P(doom) Rechner der die Teile durchgeht.
Dann ziehe das Etikett von der Behauptung ab. „Doomer“ heftet eine Karikatur (einen düsteren Pessimisten, der Fortschritt hasst) an eine These, die meist viel enger und viel nüchterner ist: dass diese bestimmte Technologie ein bestimmtes Risiko birgt, das besondere Sorgfalt erfordert. Trenne die beiden. Man kann Technologie lieben, den Überfluss wollen, den die Accelerationisten beschreiben, glauben, dass die Zukunft außergewöhnlich sein kann, und dennoch der Ansicht sein, dass wir in der Lage sein sollten, eine Superintelligenz zu steuern, bevor wir sie einschalten. Das sind keine gegensätzlichen Positionen. Die Argument für die gute Zukunft führt direkt durch das richtige Erledigen dieses Teils, nicht darum herum.
Ich glaube nicht, dass die meisten Menschen, die das Wort benutzen, in bad faith argumentieren. Das Framing ist wirklich verführerisch, und Selbstsicherheit wird leicht mit Richtigkeit verwechselt, besonders wenn sie mit einer guten Geschichte einhergeht. Doch wenn der stärkste Zug, den eine Bewegung gegen ihre Kritiker machen kann, darin besteht, ihnen einen abwertenden Namen zu geben, sagt das etwas über den Boden, auf dem sie steht. Unsere Fall läuft nicht auf Angst und nicht auf Hass gegen Fortschritt. Es beruht auf einem einzigen robusten, unspektakulären Stück Klugheit: Bei einem Fehler, den man nicht zurücknehmen kann, baut man zuerst die Bremsen.