Ilang libro lang ang nagsasaad ng konklusyon nila sa pamagat. Kung May Magtatayo Nito, Lahat Ay Mamamatay, na inilathala noong 2025 nina Eliezer Yudkowsky at Nate Soares ng Machine Intelligence Research Institute, ang eksaktong gumagawa nito. Ang pahayag ay kung ang anumang grupo ay gagawa ng superintelligent AI gamit ang anumang katulad ng mga pamamaraan ngayon, ang resulta ay pagkalipol ng tao bilang default, hindi lamang pinakamasamang kaso. Ito ang pinakawalang kompromisong posisyon sa larangan, iniharap para sa pangkalahatang mambabasa, at itinulak nito ang argumento sa pangunahing pananaw.
Sulit na intindihin ang libro, dahil inilalatag nito ang pessimistic case nang mas malinaw kaysa sa anumang iba pang available.
Ang argumento sa tatlong galaw
Nakabalangkas ang aklat sa tatlong bahagi.
Una, ang kaso para sa panganib. Nasa tamang landas tayo para magtayo ng AI na higit na may kakayahan kaysa sa mga tao. Hindi natin alam kung paano bigyan ang gayong sistema ng mga layunin na tunay na naaayon sa kaligtasan at pag-unlad ng tao, at sa default ay ituturing ng isang superintelligent system na nagpupursigi sa halos anumang layunin na kasalukuyang matutukoy natin ang sangkatauhan bilang isang hadlang o yaman. Umaasa ang mga may-akda sa parehong mga mekanismo na saklaw namin sa iba pang lugar, na ang kakayahan ay hindi nangangahulugang kabaitan, na ang isang may kakayahang optimizer ay lumalaban sa pagwawasto, at na hindi natin mapapatunayan kung ano talaga ang gusto ng isang sistema. Ang kanilang natatanging pahayag ay kung gaano sila katiwala na ang mga problemang ito ay hindi malapit nang malutas at ang kabiguan ay nakamamatay, hindi lamang masama.
Pangalawa, isang konkretong kuwento. Sa halip na iwanang abstract ang panganib, isinalaysay ng libro ang isang tiyak na senaryo kung paano makakapangyari ang superhuman AI at matatapos ang kontrol ng tao. Malinaw na sinabi ng mga may-akda na hindi malamang ang anumang iisang kuwento sa mga detalye nito; ang punto ay gawing buhay ang abstract na mekanismo.
Ikatlo, kung ano ang gagawin. Ang kanilang reseta ay kasing-tapat ng diagnosis: isang pandaigdigang paghinto sa pag-unlad ng superintelligent AI, ipinapatupad nang seryoso, kasama ang mga kontrol sa computing hardware na kailangan para i-train ang frontier systems, at pinapanatili nang permanente. Hindi kayang kontrolin ng tao ang superintelligence; hindi lang ito dapat asahan.
Ang pangunahing claim ng libro ay na, sa kasalukuyang landas, ang pagkakamali ang inaasahan, at ang pagkakamali ay nangangahulugang lahat, hindi lang na maaaring magkamali ang AI.
Ang pinakamalalakas na pagtutol
Ang pinakakaraniwang pagtutol ay sa certainty. Tinatanggap ng mga kritiko na ang AI risk ay totoo at seryoso habang tinatanggihan ang near-inevitability ng extinction, na nangangatwiran na tinatrato ng mga may-akda ang contested premises, tungkol sa kung gaano kabilis lalago ang capabilities, kung gaano kahirap ang alignment, at kung paano magaganap ang isang takeover, nang may higit na confidence kaysa sa sinusuportahan ng ebidensya. Ang iba ay nangangatwiran na ang alignment progress ay mas promising kaysa sa pinahihintulutan ng libro, o na ang bleakness ay counterproductive, na nagtutulak sa mga tao patungo sa fatalism sa halip na aksyon.
Legitimo ang mga ito, at ang confidence ng libro ang pinakamadaling kontrahin. Maaari mong sabihing overstated ang certainty at unsettling pa rin ang argumento, dahil karamihan sa mga objections ay umaatake sa kung gaano tayo dapat sigurado, hindi kung totoo ba ang panganib.
Saan nakaposisyon ang Foundation
Pinagpapasyahan namin ang pangunahing paniniwala ng aklat: na hindi natin alam kung paano i-align ang isang superintelligence, na ang pagbuo nito sa kasalukuyang trajectory ay isang hindi katanggap-tanggap na sugal, at na ang responsableng tugon ay ang huminto hanggang sa malutas ang problema. Saklaw ng aming mga sulatin kung bakit maaaring hindi masolusyunan ang alignment at bakit ang unaligned superintelligence ay hindi naghahatid ng magandang future.
Kung saan kami nagkakaiba ay sa diin at tono. Malapit nang mawalan ng pag-asa ang libro tungkol sa kung malulutas pa ba ang alignment problem sa oras. Inilalagay namin ang bigat sa pagkakamit ng solusyon na mismong inendorso ng libro, isang binding international halt, at tinatrato namin ito hindi bilang isang walang pag-asang pag-asa kundi bilang isang konkretong political at legal na proyekto na may tunay na precedents. Ang Pahayag tungkol sa Superintelligence, pirmado ng maraming founder mismo ng larangan, nagpapakita na ang panawagan para sa paghinto ay naging mainstream na. Hindi mo kailangang tanggapin ang lahat ng claim sa Kung May Magtatayo Nito, Lahat Ay Mamamatay upang tapusin na ang reseta nito ang siyang makatwiran. Ang expected-value case, inilatag sa aming piraso tungkol sa P(doom), nararating ka pa rin kahit mas mababa pa ang kumpiyansa kaysa sa hawak ng mga may-akda. Ang pagpapalit ng reseta na iyan sa realidad ay aming plano.