Ang P(doom) ay hindi teknikal na termino mula sa isang pormal na papel. Ito ay lumitaw sa online AI safety discussions bilang shorthand para sa isang probability estimate na hindi sana ikinakabit ng karamihan ng mga mananaliksik bago ang 2020 ng numero. Ang pagpayag na i-quantify ito (na tratuhin ang catastrophic AI risk bilang probability na tataantiyahin imbes na posibilidad na malabong ituro) ay isa sa mga makabuluhang pagbabago sa kung paano iniisip ng mga taong pinakamalapit sa AI development ang problema.
Ang mga pagtataya ay mula sa ilang porsyento hanggang higit sa 50%, depende sa mananaliksik at sa kung paano nila tinatasa ang kahirapan ng alignment at ang bilis ng pamamahala. Narito kung ano ang sinasabi ng hanay na ito, at bakit kahit ang mababang probabilidad ay nangangailangan ng seryosong atensyon.
Ang “doom” sa P(doom) ay sadyang hindi tinukoy. Iba’t ibang mananaliksik ang gumagamit nito para sa human extinction, permanenteng pagkawala ng human autonomy, permanenteng konsentrasyon ng kapangyarihan sa isang aktor, o iba pang sibilisasyonal na sakuna. Kinikilala ang imprecision; ang punto ng termino ay pilitin ang explicit quantified reasoning tungkol sa panganib sa halip na umasa sa intuwisyon tungkol sa kung ito ay “totoo” o “speculative.”
Ano ang Itsura ng mga Estimasyon
Kapansin-pansin ang pagkakaiba sa hanay ng mga mananaliksik na ito. Nagkakahiwalay sina Hinton at Yudkowsky ng sampu-sampung porsyento. Ang pormal na pagkakahati-hati ni Carlsmith ay nagbigay ng malawak na hanay sa halip na isang tiyak na pagtatantya, na nagpapakita ng tunay na kawalan ng katiyakan sa bawat hakbang. Ang pinagkakapareho ng mga pagtatantya ay hindi ito maliit; wala sa mga mananaliksik na nakatuon sa kaligtasan na seryosong nag-aral ng problema at nagbigay ng numero ang nakababa sa humigit-kumulang 5%.
Itakda ang sarili mong pananaw sa bawat crux sa ibaba at panoorin kung paano sila nagiging isang solong estimate.
Bakit umiiral ang malawak na saklaw
Ang P(doom) bilang numero ay produkto ng ilang hindi tiyak na intermediate questions na pinagmulta. Gaano kabilis uunlad ang AI capabilities? Gaano kahirap ang alignment problem sa capability levels na lampas sa mga nasubukan na natin? Gaano kalamang na ang misaligned AI ng isang partikular na capability level ay magdudulot ng catastrophic kaysa contained harm? Gaano kalamang na epektibong tutugon ang governance bago maabot ang critical capability threshold?
Magkaiba ang distribusyon ng iba’t ibang mananaliksik sa mga tanong na ito, at nagkocompound ang mga estimate. Ang mananaliksik na naniniwalang tractable ang alignment problem, medyo mabagal ang pag-unlad ng capabilities, at tutugon ang governance sa tamang panahon ay magkakaroon ng mas mababang overall estimate kaysa sa naniniwala sa kabaligtaran sa bawat tanong. Ang malawak na saklaw ay sumasalamin sa tunay na kawalan ng katiyakan tungkol sa bawat factor, hindi sa hindi pagkakasundo na malulutas sa mas maingat na pagsusuri ng parehong ebidensya.
Ang argumento ng expected value
Isang karaniwang tugon sa hindi-hindi gaanong P(doom) estimates ay: "Kahit 10% ay parang masyadong mababa para baguhin ang lipunan." Ang tugon na ito ay nakabatay sa kakulangan ng expected value reasoning na hindi tatanggapin sa ibang konteksto ng panganib.
Ang taunang probabilidad ng isang major pandemic na kayang pumatay ng milyon-milyon ay tinatantya na mas mababa sa 1% sa anumang taon, pero malaki pa rin ang global investment at policy attention na natatanggap ng pandemic preparedness. Ang lifetime probability na mamatay sa car accident sa US ay humigit-kumulang 1%, at itinuturing na normal ang road safety regulation. Ang argumento na ang 10% (o kahit 5%) na probabilidad ng civilizational catastrophe ay hindi nangangailangan ng seryosong precautionary investment ay hindi coherent na aplikasyon ng kung paano namin hinahawakan ang risk sa ibang larangan.
Ang inaasahang halaga ay ang probabilidad na pinarami ng magnitude. Para sa mga panganib na hindi na maibabalik at sibilisasyon ang sukat (kung saan walang pagbawi mula sa masamang kinalabasan, at ang masamang kinalabasan ay nagsasara sa lahat ng hinaharap na halaga) ang inaasahang halaga ng pag-iingat ay nananatiling napakalaki kahit sa mga probabilidad na malayo sa ibaba ng 10%. Ang 1% na tsansa na mawala ang lahat ay isang problema na ang inaasahang gastos ay 1% ng lahat, na, sa sukat ng kung ano ang nilalaman ng pangmatagalang hinaharap, ay isang napakalaking numero, hindi isang 1% na problema.
Ano ang magpapababa sa P(doom)
Ang mga mananaliksik na nagpapahayag ng mataas na P(doom) na mga tantiya ay nag-diagnose kung saan kailangan ang pinakakritikal na gawain, hindi nangangahulugang sumusuko sa masamang resulta. Ang mga salik na magpapababa sa P(doom) sa karamihan ng mga tantiya ng mananaliksik ay lubos na nauunawaan: ipinakitang pag-unlad sa mga kasangkapan sa interpretability na may kakayahang mag-verify ng alignment sa frontier systems; scalable oversight approaches na humahawak sa mga antas ng kakayahan na lampas sa human experts; binding international governance frameworks na may tunay na pagpapatupad; at capability development na mas mabagal kaysa sa alignment research upang maitatag ang kaligtasan bago maabot ang mapanganib na antas ng kakayahan.
Ito ang dahilan kung bakit nakatuon ang Foundation sa governance frameworks at alignment research bilang pangunahing levers, sa halip na sa pagtatanggi sa panganib o sa pagtrato sa isang partikular na P(doom) estimate bilang authoritative answer. Ang kawalan ng katiyakan sa P(doom) ay hindi dahilan para maghintay ng higit pang impormasyon, ang masamang resulta ay dumarating sa mga partikular na capability thresholds, hindi sa isang timeline na nagpapahintulot ng walang katapusang pagpapaliban ng pag-iingat.