Outils

P(doom) Calculator

P(doom) est la probabilité qu’une IA avancée entraîne une catastrophe pour l’humanité. Ce n’est pas un seul chiffre. Cinq jugements y contribuent. Déplacez les curseurs pour exprimer votre propre estimation, puis comparez le résultat avec celui des chercheurs qui placent le risque à 50 % ou plus. La position de la Fondation est simple : l’intelligence artificielle superintelligente ne doit pas être construite.

1. La superintelligence est construite ce siècle 90%

Probabilité que les systèmes d'IA surpassent les capacités cognitives humaines dans la plupart des domaines avant 2100, dans un scénario proche de la voie compétitive actuelle.

2. Nous n'obtenons jamais de contrôle fiable 80%

Probabilité que nous échouions à garder un tel système sous un contrôle humain fiable avant qu'il ne soit trop tard pour l'arrêter.

3. Il se voit conférer un vrai pouvoir 85%

Probabilité qu'un système soit déployé avec un accès à enjeux élevés : réseaux, outils, argent ou systèmes physiques.

4. L'échec est à l'échelle de la civilisation 80%

Probabilité qu'un échec soit à l'échelle de la civilisation plutôt que détecté et contenu à temps.

5. L'humanité ne peut pas s'en remettre 90%

Probabilité qu'une catastrophe soit permanente : extinction ou perte irréversible d'un avenir dirigé par l'humain.

Cette estimation n'est pas une prédiction de quelque chose hors de notre portée. La superintelligence n'est construite que si nous continuons à la construire. Arrêtez ce projet et P(doom) chute avec lui.

Comment ceci est calculé

Chaque curseur est une partie du jugement. La calculatrice indique la moyenne géométrique des cinq pourcentages.

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

Fixez les cinq curseurs à 80 et le résultat est 80. Baissez un curseur et le résultat baisse avec lui. Un produit en cinq étapes enverrait les mêmes entrées vers zéro : 50 % à chaque étape s'affiche comme 3 %. Ce n'est pas ainsi que Hinton, Tegmark ou Yudkowsky énoncent un chiffre. La moyenne vous maintient sur leur échelle.

Le rapport de Joe Carlsmith de 2021 utilisait un vrai produit de prémisses, c’est pourquoi son chiffre initial tournait autour de 10 % même avec des conditionnelles sérieuses. Considérez ce résultat comme une aide au raisonnement.

Estimations P(doom)
  • Yann LeCun
    Meta; déclarations publiques    <1%
  • Chercheur ML médian
    Sondage AI Impacts auprès de plus de 2 700 chercheurs, 2023    ~5%
  • Joe Carlsmith
    Rapport d'Open Philanthropy, 2021 (révisé à la hausse par la suite)    ~10%
  • Paul Christiano
    Chercheur en alignement ; estimations publiques    ~20%
  • Geoffrey Hinton
    Lauréat Nobel ; entretiens, 2023-2025 (fourchette jusqu'à ~50 %)    ~50%
  • Daniel Kokotajlo
    Ancien OpenAI ; interview au New York Times, 2024    ~70%
  • Dan Hendrycks
    Center for AI Safety ; déclaration publique, 2023    >80%
  • Andrew Critch
    UC Berkeley CHAI; estimations publiques, 2024    ~85%
  • Max Tegmark
    MIT; Future of Life Institute; estimations publiques    >90%
  • Connor Leahy
    Conjecture ; estimations publiques    90%+
  • Eliezer Yudkowsky
    MIRI; Si quelqu'un le construit, tout le monde meurt    >95%
  • Nate Soares
    Président de MIRI ; co-auteur avec Yudkowsky    >95%
  • Roman Yampolskiy
    Université de Louisville ; recherche sur la sécurité de l'IA    ~99.9%
Plus d'outils interactifs
Tous les outils →
Comparaison
Comment se compare le risque d'IA
Quiz
Testez votre culture en matière de sécurité de l’IA