P(doom) ist kein Fachbegriff aus einer formalen Arbeit. Er entstand in Online-Diskussionen zur KI-Sicherheit als Abkürzung für eine Wahrscheinlichkeitsschätzung, der die meisten Forscher vor 2020 gar keine Zahl zugeordnet hätten. Die Bereitschaft, sie zu quantifizieren (das katastrophale KI-Risiko als eine zu schätzende Wahrscheinlichkeit zu behandeln statt als eine vage angedeutete Möglichkeit), ist eine der bedeutsamen Verschiebungen darin, wie Menschen, die der KI-Entwicklung am nächsten stehen, über das Problem denken.
Die Schätzungen reichen von wenigen Prozent bis über 50 %, je nach Forscher und wie dieser die Schwierigkeit des Alignments und die Geschwindigkeit der Governance bewertet. Hier erfahren Sie, was die Spanne uns sagt und warum selbst niedrige Wahrscheinlichkeiten ernsthafte Aufmerksamkeit erfordern.
Das „Doom“ in P(doom) bleibt bewusst unbestimmt. Verschiedene Forscher verstehen darunter das Aussterben der Menschheit, den dauerhaften Verlust menschlicher Autonomie, die dauerhafte Konzentration von Macht bei einem einzigen Akteur oder eine andere zivilisatorische Katastrophe. Die Ungenauigkeit wird eingeräumt; der Zweck des Begriffs besteht darin, explizites quantifiziertes Nachdenken über das Risiko zu erzwingen, statt sich auf Intuitionen darüber zu verlassen, ob es „real“ oder „spekulativ“ ist.
Wie die Schätzungen aussehen
Die Spanne zwischen diesen Forschern ist auffällig. Hinton und Yudkowsky liegen um Dutzende Prozentpunkte auseinander. Carlsmiths formale Zerlegung ergab eine breite Spanne statt einer Punktschätzung und spiegelt damit echte Unsicherheit bei jedem Zwischenschritt wider. Gemeinsam ist den Schätzungen, dass sie nicht trivial sind; keiner der sicherheitsorientierten Forscher, die sich ernsthaft mit dem Problem befasst und eine Zahl genannt haben, ist unter etwa 5 % gelandet.
Bilden Sie sich zu jedem der folgenden Knackpunkte eine eigene Meinung und beobachten Sie, wie sie sich zu einer einzigen Schätzung verdichten.
Warum die breite Spanne existiert
P(doom) als Zahl ist das Produkt mehrerer unsicherer Zwischenfragen, die miteinander multipliziert werden. Wie schnell werden sich KI-Fähigkeiten weiterentwickeln? Wie schwierig ist das Alignment-Problem bei Fähigkeitsniveaus jenseits dessen, was wir getestet haben? Wie wahrscheinlich ist es, dass fehlausgerichtete KI eines bestimmten Fähigkeitsniveaus katastrophalen statt begrenzten Schaden verursacht? Wie wahrscheinlich ist es, dass Governance wirksam reagiert, bevor die kritische Fähigkeitsschwelle erreicht wird?
Verschiedene Forscher haben unterschiedliche Verteilungen über diese Fragen, und die Schätzungen addieren sich. Ein Forscher, der das Alignment-Problem für lösbar hält, Fähigkeiten sich relativ langsam entwickeln und Regulierung rechtzeitig reagieren wird, kommt zu einer deutlich niedrigeren Gesamtschätzung als einer, der das Gegenteil zu jeder Frage annimmt. Die breite Spanne spiegelt echte Unsicherheit über jeden Faktor wider, nicht eine Meinungsverschiedenheit, die durch sorgfältigere Prüfung derselben Evidenz aufgelöst wird.
Das Argument des erwarteten Werts
Eine häufige Reaktion auf nicht-triviale P(doom)-Schätzungen lautet: „Selbst 10 % scheinen zu niedrig, um die Gesellschaft darum herum umzubauen.“ Die Antwort beruht auf einem Versagen der Erwartungswert-Logik, das in anderen Risikokontexten nicht akzeptiert würde.
Die jährliche Wahrscheinlichkeit einer großen Pandemie, die Millionen töten kann, wird auf unter 1 % in einem beliebigen Jahr geschätzt, dennoch erhält Pandemievorsorge erhebliche globale Investitionen und politische Aufmerksamkeit. Die Lebenszeitwahrscheinlichkeit, bei einem Autounfall im US zu sterben, liegt bei etwa 1 %, und Verkehrssicherheitsregulierung gilt als völlig normal. Das Argument, eine 10 % (oder sogar 5 %) Wahrscheinlichkeit einer zivilisatorischen Katastrophe rechtfertige keine ernsthaften Vorsorgeinvestitionen, ist keine kohärente Anwendung dessen, wie wir mit Risiken in anderen Bereichen umgehen.
Erwartungswert ist Wahrscheinlichkeit mal Ausmaß. Bei Risiken, die irreversibel und zivilisatorisch sind (bei denen es aus dem schlechten Ausgang keine Erholung gibt und der schlechte Ausgang alle künftigen Werte ausschließt), bleibt der Erwartungswert von Vorsorge auch bei Wahrscheinlichkeiten deutlich unter 10 % sehr groß. Eine 1%-Chance, alles zu verlieren, ist ein Problem, dessen erwartete Kosten 1 % von allem betragen – über die Skala dessen, was die langfristige Zukunft enthält, eine enorme Zahl, kein 1%-Problem.
Was P(doom) senken würde
Forscher, die hohe P(doom)-Schätzungen äußern, diagnostizieren, wo die kritischste Arbeit nötig ist, und resignieren nicht vor schlechten Ausgängen. Die Faktoren, die P(doom) in den Schätzungen der meisten Forscher senken würden, sind gut verstanden: nachgewiesene Fortschritte bei Interpretierbarkeitswerkzeuge die in der Lage sind, Alignment in Frontier-Systemen zu verifizieren; skalierbare Oversight-Ansätze, die auch bei Fähigkeitsniveaus jenseits menschlicher Experten halten; verbindliche internationale Governance-Rahmen mit echter Durchsetzung; und Fähigkeitsentwicklung, die langsamer verläuft als Alignmentsforschung, damit Sicherheit hergestellt ist, bevor gefährliche Fähigkeitsniveaus erreicht werden.
Deshalb konzentriert sich die Foundation auf Governance-Rahmenwerke und Alignment-Forschung als die primären Hebel, anstatt das Risiko abzulehnen oder eine bestimmte P(doom)-Schätzung als autoritative Antwort zu behandeln. Die Unsicherheit in P(doom) ist kein Grund, auf mehr Informationen zu warten, das schlechte Ergebnis tritt bei spezifischen Fähigkeitsschwellen ein, nicht auf einer Zeitleiste, die eine unbefristete Verschiebung von Vorsichtsmaßnahmen erlaubt.