Herramientas

P(doom) Calculadora

"P(doom)" es la probabilidad de que una IA avanzada provoque una catástrofe para la humanidad. No es un solo número. Cinco juicios entran en él. Mueve los controles deslizantes para fijar tu propia opinión sobre cada uno y luego compara el resultado con investigadores que sitúan el riesgo en la mitad o más. La posición de la Fundación es simple: la superinteligencia artificial no debe construirse.

1. La superinteligencia se construirá este siglo 90%

Probabilidad de que los sistemas de IA superen la capacidad cognitiva humana en la mayoría de los dominios antes de 2100, bajo algo parecido al camino competitivo actual.

2. Nunca obtenemos un control confiable 80%

Probabilidad de que no logremos mantener dicho sistema bajo un control humano confiable antes de que sea demasiado tarde para detenerlo.

3. Se le da poder real 85%

Probabilidad de que un sistema se implemente con acceso de alto riesgo: redes, herramientas, dinero o sistemas físicos.

4. El fracaso es a escala civilizacional 80%

Probabilidad de que un fallo sea a escala civilizacional en lugar de ser detectado y contenido a tiempo.

5. La humanidad no puede recuperarse 90%

Probabilidad de que una catástrofe sea permanente: extinción o pérdida irreversible de un futuro dirigido por humanos.

Esta estimación no es una predicción de algo fuera de nuestro alcance. La superinteligencia se construye solo si seguimos construyéndola. Detén ese proyecto y P(doom) cae con él.

Cómo se calcula esto

Cada control deslizante es una parte del juicio. La calculadora informa la media geométrica de los cinco porcentajes.

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

Pon los cinco en 80 y el resultado es 80. Baja un control y el resultado cae con él. Un producto de cinco pasos enviaría las mismas entradas hacia cero: 50 % en cada paso se imprime como 3 %. Así no es como Hinton, Tegmark o Yudkowsky dan un número. La media te mantiene en su escala.

El informe de Joe Carlsmith de 2021 utilizó un verdadero producto de premisas, por eso su cifra inicial rondaba el 10 % incluso con condicionales serios. Trata esta salida como una ayuda para el razonamiento.

Estimaciones de P(doom)
  • Yann LeCun
    Meta; declaraciones públicas    <1%
  • Investigador de ML promedio
    Encuesta de AI Impacts a más de 2.700 investigadores, 2023    ~5%
  • Joe Carlsmith
    Informe de Open Philanthropy, 2021 (posteriormente revisado al alza)    ~10%
  • Paul Christiano
    Investigador de alineación; estimaciones públicas    ~20%
  • Geoffrey Hinton
    Premio Nobel; entrevistas, 2023-2025 (rango hasta ~50%)    ~50%
  • Daniel Kokotajlo
    Ex OpenAI; entrevista con New York Times, 2024    ~70%
  • Dan Hendrycks
    Center for AI Safety; declaración pública, 2023    >80%
  • Andrew Critch
    UC Berkeley CHAI; estimaciones públicas, 2024    ~85%
  • Max Tegmark
    MIT; Future of Life Institute; estimaciones públicas    >90%
  • Connor Leahy
    Conjetura; estimaciones públicas    90%+
  • Eliezer Yudkowsky
    MIRI; Si alguien lo construye, todos mueren    >95%
  • Nate Soares
    Presidente de MIRI; coautor con Yudkowsky    >95%
  • Roman Yampolskiy
    Universidad de Louisville; investigación en seguridad de la IA    ~99.9%
Más herramientas interactivas
Todas las herramientas →
Comparación
Cómo se compara el riesgo de la IA
Prueba
Pon a prueba tu conocimiento sobre seguridad de la IA