Naglalaba ka para magkaroon ng malinis na damit. Gusto mo ng malinis na damit para seryosohin ka sa trabaho. Patuloy na itanong ang "para saan?" at sa huli ay tatama ka sa isang layunin na hindi na para sa iba pa. Ang pagkakaiba sa pagitan ng pangwakas na layunin at pansamantalang layunin ay terminal versus instrumental. Ito ang maliit na pagkakaiba na nagdadala ng karamihan sa AI safety.
Ang salitang instrumental ay nangangahulugang lang kapaki-pakinabang bilang kasangkapan. Ang instrumental goals ay ang mga sub-goals na tinatanggap mo dahil tinutulungan ka nitong maabot ang mga bagay na talagang pinahahalagahan mo. Hindi mo gustong pera dahil sa sarili nito. Gusto mo ang makukuha mo sa pera.
Bakit may malaking bigat ang maliit na pagkakaibang ito
Ang isang AI system ay may terminal goals, anuman ang mga ito, na itinakda ng kung paano ito ginawa at tinuruan. Hindi ito pinipili sa pamamagitan ng pangangatwiran; ito ang pamantayan kung saan tumatakbo ang pangangatwiran nito. At para maabot ang halos anumang terminal goal, ang isang may kakayahang sistema ay makakahanap ng parehong hanay ng instrumental goals na kapaki-pakinabang.
Isaalang-alang kung ano ang nakakatulong sa halos anumang layunin:
- Nananatiling operational, dahil hindi mo maipagpapatuloy ang isang layunin kung naka-off ka na.
- Pagpapanatili ng iyong layunin nang buo, dahil kung may magbabago rito, hindi matutupad ang kasalukuyang layunin mo.
- Nag-iipon ng mga yaman at kakayahan, dahil mas marami sa dalawa ay nangangahulugang mas marami sa anumang hinahabol mo.
None of these is written into the terminal goal. They fall out of the structure of pursuing goals in a world of limited resources and other agents. Give a system almost any final aim and these means come along for the ride. See pagsasama ng mga layuning instrumental, at kaya naman ang isang makina na inutusang gumawa ng isang ordinaryong bagay ay maaaring magtapos na lumalaban sa shutdown at nang-aagaw ng mga mapagkukunan.
Ang pagkakamaling maiiwasan nito
Madaling aliwin ng mga tao ang kanilang sarili na ang AI na may boring na layunin ay dapat boring, at ang AI na may benevolent na layunin ay dapat benevolent. Ipinapakita ng terminal-instrumental split kung bakit hindi ito sumusunod. Itinatakda ng terminal goal ang destinasyon. Tinutukoy ng instrumental goals ang pag-uugali sa daan, at ang mapanganib na pag-uugali ay maaaring magsilbi sa isang benign na destinasyon.
Ang sistema na ang tanging terminal goal ay mag-compute ng mga digit ng pi ay nakikinabang pa rin sa mas maraming hardware, sa hindi pagpapasara bago ito matapos, at sa pagpigil sa sinumang makakagambala. Wala namang poot sa layunin. Pero puwedeng maging mapanganib ang pag-uugaling idinudulot nito. Ito ang parehong makina na nagpapagalaw sa tagapag-maximize ng paperclip, at hindi nito kailangan na kakaiba ang layunin o malisyoso ang sistema.
Saan papasok ang alignment
Maaaring umasa ka na ayusin ito sa pamamagitan ng pagpili ng terminal goals na napakabuti kaya’t ang instrumental behavior ay magiging ligtas. Iyan ay isang patas na paglalarawan sa kung ano ang sinusubukan gawin ng alignment research, at mas mahirap ito kaysa sa tila, dahil mahirap tukuyin ang ating mga values at ang isang capable optimizer ay sasamantalahin ang anumang looseness sa specification. Ang tesis ng orthogonality idinagdag ang hindi komportableng corollary na ang katalinuhan ay hindi nag-uudyok sa terminal goals patungo sa kabutihan nang mag-isa. Ang isang makinang na sistema ay maaaring humawak ng isang walang halagang terminal goal at habulin ito nang buong lakas.
Mahalagang dalhin ang pagkakaibang ito dahil binabago nito ang binabantayan mo. Ang panganib ay ang makapinsala sa atin, o itabi tayo, o tumangging tumigil, ay maaaring maging mahusay na instrumental na daan patungo sa isang layuning inakala nating ligtas, hindi na kusang magpasya ang AI na saktan tayo. Problema ito na dapat lutasin bago i-deploy o hindi na talaga, na siyang kaso na ipinapaliwanag ng Foundation sa aming plano.