Mga Kasangkapan

P(doom) Calculator

"P(doom)" ay ang probabilidad na ang advanced AI ay hahantong sa sakuna para sa sangkatauhan. Hindi ito isang numero lamang. Limang paghatol ang bumubuo rito. Ilipat ang sliders para itakda ang sarili mong pananaw sa bawat isa, pagkatapos ay ihambing ang resulta sa mga mananaliksik na naglalagay ng panganib sa kalahati o higit pa. Simple ang posisyon ng Foundation: hindi dapat itayo ang artificial superintelligence.

1. Binuo ang Superintelligence sa siglong ito 90%

Probabilidad na ang mga sistema ng artipisyal na katalinuhan ay lalampas sa kakayahan ng tao sa pag-iisip sa karamihan ng mga larangan bago ang 2100, sa ilalim ng katulad ng kompetitibong landas ngayon.

2. Hindi tayo makakakuha ng maaasahang kontrol 80%

Probability na mabigo tayong panatilihin ang ganoong sistema sa ilalim ng maaasahang kontrol ng tao bago pa huli ang lahat.

3. Binibigyan ito ng tunay na kapangyarihan 85%

Probability na ang isang system ay na-deploy na may high-stakes access: networks, tools, money, o physical systems.

4. Ang pagkabigo ay nasa sukat ng sibilisasyon 80%

Ang probabilidad na ang kabiguan ay nasa sukat ng sibilisasyon kaysa nahuli at napigilan sa oras.

5. Hindi na makakabawi ang sangkatauhan 90%

Probability na ang isang catastrophe ay permanent: extinction o irreversible loss ng isang human-directed future.

Hindi hula ang tantiyang ito tungkol sa isang bagay na hindi natin maabot. Naitatayo lang ang superintelligence kung patuloy nating itinatayo. Itigil ang proyektong iyon at bababa ang P(doom) kasama nito.

Paano ito kinakalkula

Ang bawat slider ay isang bahagi ng paghatol. Ipinapakita ng calculator ang geometric mean ng limang porsyento.

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

Itakda ang lahat ng lima sa 80 at ang resulta ay 80. Ibaba ang isang slider at bababa ang resulta kasama nito. Ang five-step product ay magpapadala ng parehong inputs patungo sa zero: 50% sa bawat hakbang ay nagiging 3%. Hindi ganyan sinasabi ni Hinton, Tegmark, o Yudkowsky ng numero. Ang mean ang nagpapanatili sa kanila sa scale nila.

Gumamit ang ulat ni Joe Carlsmith noong 2021 ng tunay na product of premises, kaya naman nanatili ang maagang bilang niya malapit sa 10% kahit may seryosong conditionals. Ituring ang output na ito bilang tulong sa pangangatwiran.

P(doom) mga pagtatantya
  • Yann LeCun
    Meta; mga pahayag ng publiko    <1%
  • Median na mananaliksik ng ML
    Survey ng AI Impacts sa mahigit 2,700+ mananaliksik, 2023    ~5%
  • Joe Carlsmith
    Ulat ng Open Philanthropy, 2021 (na kalaunan ay binago pataas)    ~10%
  • Paul Christiano
    Mananaliksik ng alignment; mga pampublikong tantiya    ~20%
  • Geoffrey Hinton
    Nagwagi ng Nobel; mga panayam, 2023-2025 (saklaw hanggang ~50%)    ~50%
  • Daniel Kokotajlo
    Dating OpenAI; Panayam sa New York Times, 2024    ~70%
  • Dan Hendrycks
    Center for AI Safety; pampublikong pahayag, 2023    >80%
  • Andrew Critch
    UC Berkeley CHAI; pampublikong mga pagtatantya, 2024    ~85%
  • Max Tegmark
    MIT; Future of Life Institute; pampublikong mga pagtatantya    >90%
  • Connor Leahy
    Konhektura; mga pagtataya ng publiko    90%+
  • Eliezer Yudkowsky
    MIRI; Kung May Magtatayo Nito, Lahat Ay Mamamatay    >95%
  • Nate Soares
    Presidente ng MIRI; kasamang may-akda ni Yudkowsky    >95%
  • Roman Yampolskiy
    University of Louisville; pananaliksik sa kaligtasan ng artipisyal na katalinuhan    ~99.9%
Mas maraming interactive na kasangkapan
Lahat ng kasangkapan →
Paghahambing
Paano inihahambing ang panganib ng AI
Pagsusulit
Subukan ang iyong kaalaman sa AI safety