"Optimista ako. Siguradong hindi mawawala ang lahi ng tao. Hindi pa ito nangyari." Madalas itong marinig pagkatapos ng safety panels, sa greenrooms at comment threads, kadalasan kasama ang ngiting nais isara ang usapan. May tunay na social work ang ngiting iyon. Ipinapakita nitong depekto ng personalidad ang pag-iingat at emosyonal na kalusugan ang pagmamadali. Nagsasama rin ito ng claim tungkol sa panganib sa loob ng mood.
Pinapayagan ang optimismo. Ang hindi pinapayagan, kung seryoso pa rin ang ginagawa natin, ay ituring ang isang ugali bilang ebidensya.
Ang ibig sabihin ng "never happened before"
Ang human extinction, sa kahulugan, ay walang human witnesses pagkatapos. Bawat buhay na tao ay kumukuha ng sample mula sa mga timeline kung saan nagpatuloy ang species. Tawagin itong selection, hindi philosophy: ang lottery winner ay masamang source tungkol sa odds ng panalo, at "Hindi pa ako namatay sa car crash" ay mahinang argumento laban sa seatbelts.
Ang fossil record ay hindi sentimental. Ang karamihan sa mga species na nabuhay ay nawala na. Ilang mass extinctions ang naglinis ng board para sa susunod na darating. Homo sapiens is young in geologic time and has already walked through bottlenecks, plagues, and wars that could have ended us in a colder roll of the dice. "Never happened before" is a statement about the thin slice of history we can still discuss.
Ang mga unang pagkakataon ang siyang gumagawa ng mga sakuna
Bago ang 1945, wala pang lungsod na nawasak ng isang bomba. Bago ang 1918, wala pang pandemic na sumakay sa global rail at ship networks nang ganoong bilis. Bago ang gawain sa ozone noong 1980s, wala pang nagsagawa ng human experiment ng pagpapayat sa layer na pumipigil sa ultraviolet light na mag-sterilize sa ibabaw. Bawat isa sa mga iyan, bago mangyari, ay isang bagay na hindi pa kailanman nangyari. Hindi naghintay ang mga taong kumilos para magkaroon ng kumpletong instance bilang case study.
Nasa bucket na iyan ang artificial superintelligence. Walang makasaysayang serye ng mga misaligned superintelligence na maaaring i-average. May mekanismo: mga sistemang hinahabol ang mga layunin, pinapabuti ang sariling kakayahan, at sa huli ay lumalampas sa mga institusyong dapat sana’y nagwawasto sa kanila. Ang mekanismo ang ginagamit kapag walang base rates. Ang humingi muna ng prior human extinction mula sa AI bago seryosohin ang mekanismo ay katumbas ng paghiling ng bangkay bago ang diagnosis.
Bawat unang sakuna ay mukhang, bago pa mangyari, parang isang bagay na hindi pa kailanman nangyari.
Optimismo, wastong itinutok
May uri ng optimismo na iginagalang ko. Sinasabi nito: nakipag-ugnayan na ang mga tao sa ilalim ng pressure noon. May mga kasunduang napanatili. Napilitan ang mga industriya na baguhin ang direksyon kapag malinaw ang siyensya at naisaayos ang pulitika. Ang talaan ng pagpipigil is real, from nuclear arms control to the chemicals that were eating the ozone layer. That optimism points at agency. It assumes the future is still a decision.
Ang greenroom version ay ginagawa ang kabaligtaran. Tinatrato nito ang survival bilang default setting ng uniberso at ang pag-aalala bilang bad manners. Nalilito nito ang "I prefer good outcomes" sa "good outcomes are therefore likely."
Nang ilagay nina Geoffrey Hinton, Yoshua Bengio, at daan-daang mananaliksik ang extinction-level AI risk sa parehong listahan ng pandemics at nuclear war, ginagawa nila ang boring na bagay na ginagawa ng mga eksperto kapag mukhang matibay ang isang mekanismo at total ang downside, hindi nag-a-audition para maging villain sa tech keynote. Maaari kang hindi sumang-ayon sa kanilang mga numero. Hindi mo maaaring balewalain ang kategorya sa pamamagitan ng pag-anunsyo ng iyong personality type.
Ang halaga ng pagkibit-balikat
Ang pagkibot ng balikat ay nakakatulong sa mga taong kailangang magpatuloy ang pagbuo nang walang pagtutol. Kapag ang usapan tungkol sa pagkalipol ay binago bilang isang problema ng "vibe", ang tanging magalang na galaw ay ibalik ang usapan sa produktibidad at apps. Samantala, lumalaki ang mga lab, nahuhuli ang mga eval, at ang problema sa pagkontrol nananatiling hindi nalulutas. Ang mood ay napagkamalan bilang pamamahala.
Gusto kong magpatuloy ang human project. Madali ang unang kalahati. Mas mahirap ang pangalawa: tanggihan ang landas ng pag-unlad na nagko-concentrate ng uncorrectable power sa mga system na walang makakatiyak na mapapatay, at gawin ang political work na nagbibigkis na paghinto nangangailangan. Kung ang optimismo ay nangangahulugang lamang "tumigil sa pakikipag-usap tungkol sa downside," ito ay naging isang pampatulog na awit.
Ang pagkalipol ay hindi pa nangyari sa atin noon.