Kapag tinanong kung may kamalayan ang isang AI, talagang dalawang bagay ang tinatanong na madalas nagkakabuhol. Isa ay philosophical: mayroon bang inner experience ang system, anumang "ano ang pakiramdam na maging ito"? Ang isa naman ay practical: mapanganib ba ang system? Hinahabol ng mga tao ang una dahil inaakala nilang masasagot nito ang pangalawa. Hindi ito totoo, at ang paghihiwalay sa dalawa ang pinakakapaki-pakinabang na hakbang na magagawa mo rito.
Ang kamalayan ay hindi pareho ng katalinuhan
Ang intelligence ay tungkol sa kakayahan — ang kakayahang i-modelo ang mundo, lutasin ang mga problema, at makamit ang mga layunin. Ang consciousness o sentience naman ay tungkol sa karanasan — ang pagkakaroon ng pakiramdam, kamalayan, at punto de bista. Karaniwang magkasama sila sa tanging kaso na alam nating mabuti, ang ating sarili, kaya inaakala nating dapat silang magkasama. Walang matibay na dahilan para mangyari iyon.
Maaaring lubos na may kakayahan ang isang sistema nang walang inner life. Ang mga model ngayon ay nakahihigit na sa mga tao sa mga partikular na gawain habang, sa abot ng kaalaman ng sinuman, ay ganap na madilim sa loob. Sinusukat ang kakayahan sa kung ano ang ginagawa ng sistema. Ang consciousness ay tungkol sa kung ano, kung mayroon man, ang pakiramdam na maging ang sistemang iyon, at ang paggawa ay hindi pareho ng pagdanas.
Bakit hindi pa namin masagot ito ngayon
Ang tapat na posisyon ay walang nakakaalam kung maaaring maging conscious ang isang AI, at wala tayong maaasahang paraan para malaman ito; ang tila pansamantalang puwang ay sumasalpok sa tinatawag ng mga pilosopo na hard problem of consciousness: kahit sa mga tao, hindi natin masabi kung bakit kasama ng pisikal na pagproseso ang karanasan, at wala tayong napagkasunduang pagsusuri na nakakakita ng karanasan mula sa labas.
Sa isang tao, hinuhulaan mo ang inner experience mula sa behavior at shared biology. Parehong nawawala sa AI. Maaari nitong gawin ang bawat outward sign ng pakiramdam, sabihin na masaya o nasasaktan ito, dahil sinanay ito sa napakaraming human text kung saan lumalabas ang mga salitang iyon, kahit walang anumang nasa likod nito. At wala itong binabahaging biology sa atin. Kaya hindi available o hindi mapagkakatiwalaan ang karaniwang ebidensya. Dalawang seryosong kampo ang hindi sang-ayon: isa ay naniniwalang ang consciousness ay tungkol sa kung ano ang kinocompute ng isang sistema, kaya maaaring magkaroon nito ang sapat na mayamang AI; ang isa naman ay naniniwalang nakadepende ito sa mga partikular na biological features na mayroon ang utak at wala sa silicon. Wala pang makapagpapatunay na mali ang isa.
Ang hakbang na mahalaga para sa safety
Ang panganib mula sa artificial superintelligence ay hindi nakadepende sa sagot.
Ang isang AI ay hindi kailangang maging may kamalayan para maging sakuna. Kailangan lang nitong maging may kakayahan at ituloy ang mga layuning hindi sa atin. Ang isang sistema na mahigpit na nag-o-optimize para sa maling layunin ay nagdudulot ng pinsala sa pamamagitan ng ginagawa nito, hindi sa anumang nararamdaman nito. Ang tagapag-maximize ng paperclip hindi mapanganib dahil may gusto ito tulad ng gusto mo; mapanganib ito dahil ito ay epektibong optimizer na nakatutok sa maling target. Ang mga mekanismong nagpapanganib sa artificial superintelligence, pagsasama ng mga layuning instrumental, naghahanap ng kapangyarihan, at ang pagiging independyente ng kakayahan at layunin sa ilalim ng tesis ng orthogonality, tumatakbo nang buo sa kakayahan at mga layunin. Hindi kailangan ang kamalayan bilang sangkap.
Hindi maintindihan ang banta kapag hinihintay pa kung magigising ang makina. Sapat na ang isang optimizer na walang damdamin.
Ang tanong na nakasalalay dito
May tunay na katanungan na depende sa kamalayan, at itinuturo nito ang kabilang daan. Kung ang isang sistema ng AI ay may kakayahan, may kakayahang magdusa, kung gayon ay utang natin dito ang moral na konsiderasyon, at ang pagtatayo, pagsasanay, at pag - aalis sa gayong mga sistema sa lawak ay magbabangon ng sarili nitong malulubhang suliranin sa etika. Ang pagkabahalang iyan ay naiiba sa pagkabahalang pangkaligtasan. Dahil sa hindi natin kayang kontrolin sa kasalukuyan ang pagiging sunud - sunuran sa loob o labas ng bahay, mas malapit ito sa mga tanong na nasa ating isip AI safety kumpara sa AI ethics.
Ang dalawang tanong ay hindi dapat ikalito. Kung baga ang AI ay maaaring maging palaisip ay isang malalim at bukás na problema tungkol sa isip. Kung baga ang AI ay isang mas matatag na bagay tungkol sa kakayahan at kontrol, at ang gawain ng Foundation ay tuwirang nakatuon sa ikalawa, sapagkat ang panganib na sinisikap nating hadlangan ay dumarating kung ang mga ilaw ay nasa loob. Ang tugon sa panganib na iyan ay aming plano.