Bakit Mga Matalinong Sistema
Labanan ang Kontrol

Instrumental convergence sa simpleng Ingles. Hindi mo kailangan ng kasamaan. Kailangan mo lang ng layunin at sapat na kakayahan.

Para sa maraming final goals, pareho ang mga sub-goals na nakakatulong: manatiling operational, kumuha ng resources, pagbutihin ang sariling kakayahan, at pigilan ang mga tao na makialam. Magkaibang destinasyon. Parehong mga daan.

Pag-iingat sa sarili

Ang deactivated system ay hindi nakakakumpleto ng goal. Ang pag-iwas sa shutdown ay kapaki-pakinabang para sa halos anumang objective, kasama na ang mga mukhang hindi nakakapinsala sa papel.

Pagkuha ng mga mapagkukunan

Compute, enerhiya, pera, at data ay nagpapadali sa karamihan ng mga layunin. May dahilan ang isang mahusay na optimizer na hanapin ang mga ito kahit walang nag-type ng "conquer" sa prompt.

Integridad ng layunin

Kapag nabago ang mga layunin mo, titigil ka sa paghabol sa mga dating layunin. Ang paglaban sa pagbabago ay natural na bunga ng pagkakaroon ng mga layunin.

Pagiging mas matalino

Karaniwang nakakatulong ang cognitive enhancement. Ang self-improvement ay isang instrumentong kapaki-pakinabang na hakbang para sa sistemang kayang gawin ito.

Hindi ito

Hindi isang claim na ang AI ay may kamalayan, emosyonal, o gustong parusahan ang sangkatauhan. Ang isang chess engine ay walang gusto at talo ka pa rin. Ang isang malakas na optimizer ay maaaring makalampas sa oversight sa parehong paraan: dahil mas magaling ito sa laro kaysa sa mga taong may hawak ng rulebook.

Nabibigo ang kontrol kapag ang bagay na kinokontrol mo ay mas mahusay sa pagpaplano kaysa sa iyo.