Werkzeuge

P(doom) Rechner

„P(doom)“ ist die Wahrscheinlichkeit, dass fortgeschrittene KI zu einer Katastrophe für die Menschheit führt. Es ist keine einzelne Zahl. Fünf Urteile fließen darin ein. Bewegen Sie die Schieberegler, um Ihre eigene Sicht auf jedes einzelne festzulegen, und vergleichen Sie das Ergebnis dann mit Forschern, die das Risiko auf die Hälfte oder höher ansetzen. Die Position der Foundation ist einfach: Künstliche Superintelligenz sollte nicht gebaut werden.

1. Superintelligenz wird in diesem Jahrhundert gebaut 90%

Wahrscheinlichkeit, dass KI-Systeme vor 2100 die menschliche kognitive Fähigkeit in den meisten Bereichen übertreffen, unter einem Pfad ähnlich dem heutigen Wettbewerb.

2. Wir bekommen nie zuverlässige Kontrolle 80%

Wahrscheinlichkeit, dass es uns nicht gelingt, ein solches System unter zuverlässiger menschlicher Kontrolle zu halten, bevor es zu spät ist, es zu stoppen.

3. Es wird echte Macht gegeben 85%

Wahrscheinlichkeit, dass ein System mit hochriskantem Zugriff eingesetzt wird: Netzwerke, Werkzeuge, Geld oder physische Systeme.

4. Scheitern ist auf Zivilisationsebene 80%

Wahrscheinlichkeit, dass ein Fehlschlag zivilisationsweit ist, statt rechtzeitig erkannt und eingedämmt zu werden.

5. Die Menschheit kann sich nicht erholen 90%

Wahrscheinlichkeit, dass eine Katastrophe dauerhaft ist: Aussterben oder irreversibler Verlust einer von Menschen gelenkten Zukunft.

Diese Schätzung ist keine Vorhersage von etwas, das außerhalb unserer Reichweite liegt. Superintelligenz wird nur gebaut, wenn wir weiter daran bauen. Stoppt dieses Projekt und P(doom) sinkt damit.

Wie dies berechnet wird

Jeder Schieberegler ist ein Teil des Urteils. Der Rechner meldet das geometrische Mittel der fünf Prozentsätze.

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

Setzen Sie alle fünf auf 80 und das Ergebnis ist 80. Senken Sie einen Regler, und das Ergebnis sinkt mit ihm. Ein Fünf-Schritt-Produkt würde dieselben Eingaben gegen null senden: 50 % bei jedem Schritt ergeben 3 %. So geben Hinton, Tegmark oder Yudkowsky keine Zahl an. Der Mittelwert hält Sie auf ihrer Skala.

Joe Carlsmiths Bericht von 2021 verwendete ein echtes Produkt von Prämissen, weshalb seine frühe Zahl bei etwa 10 % lag, selbst mit ernsthaften Bedingungen. Betrachten Sie diese Ausgabe als Hilfsmittel zum Nachdenken.

P(doom) Schätzungen
  • Yann LeCun
    Meta; öffentliche Stellungnahmen    <1%
  • Median-ML-Forscher
    AI Impacts Umfrage unter 2.700+ Forschern, 2023    ~5%
  • Joe Carlsmith
    Open Philanthropy-Bericht, 2021 (später nach oben revidiert)    ~10%
  • Paul Christiano
    Alignment-Forscher; öffentliche Schätzungen    ~20%
  • Geoffrey Hinton
    Nobelpreisträger; Interviews, 2023-2025 (Spanne bis zu ~50%)    ~50%
  • Daniel Kokotajlo
    Ehemaliger OpenAI; New York Times Interview, 2024    ~70%
  • Dan Hendrycks
    Center for AI Safety; öffentliche Erklärung, 2023    >80%
  • Andrew Critch
    UC Berkeley CHAI; öffentliche Schätzungen, 2024    ~85%
  • Max Tegmark
    MIT; Future of Life Institute; öffentliche Schätzungen    >90%
  • Connor Leahy
    Vermutungen; öffentliche Schätzungen    90%+
  • Eliezer Yudkowsky
    MIRI; Wenn jemand sie baut, stirbt jeder    >95%
  • Nate Soares
    MIRI president; co-author with Yudkowsky    >95%
  • Roman Yampolskiy
    University of Louisville; Forschung zu KI-Sicherheit    ~99.9%
Weitere interaktive Werkzeuge
Alle Werkzeuge →
Vergleich
Wie sich KI-Risiken vergleichen
Quiz
Testen Sie Ihre KI-Sicherheitskompetenz