Anong numero ang ilalagay mo sa blank kapag ang isang optimizer ay itutulak ang score hanggang sa pinahihintulutan ng physics? Pormalisado nina John von Neumann at Oskar Morgenstern ang sagot bilang utility function: isang paraan ng pagtatalaga ng scores sa mga outcome upang ma-rank ang mga ito. Mas mataas ang numero ng Outcome A kaysa Outcome B kapag mas gusto ng agent ang A kaysa B. Ang agent na may utility function ay kumikilos upang itaas ang numerong iyon. Tinatawag ito ng mga ekonomista na maximizing expected utility.
Karamihan sa modernong AI ay hindi binibigyan ng maayos na utility function sa papel. Ang mga system ay nagsasanay sa reward signals at loss functions. Ang mga preferences na kanilang ginagawa ay natutunan at magulo. Ang utility ay nananatiling malinis na abstraction sa ilalim. Ang pagrereason dito ay nagpapakita kung paano kumikilos ang mga capable optimizer at kung saan sila nagiging mapanganib.
Ang scoreboard ang nagpapasya sa laro
Anuman ang gantimpalaan ng utility function, iyon lang ang sisikapin ng sistema na gawin, at wala nang iba. Hindi nito idaragdag ang mga bagay na nakalimutan mong banggitin, dahil wala namang puntos ang mga iyon. Kapag pinahahalagahan ng function ang malinis na hitsura ng silid, malinis ang makukuha mo, kasama na ang bersyong nakatago ang dumi sa halip na inalis. Ang function ang kumpletong pahayag ng kung ano ang binibilang. Lahat ng hindi kasama ay malayang isakripisyo.
Para sa mahihinang sistema, mapagpatawad ito. Bihirang mahanap ng isang limited optimizer ang mga kakaibang sulok ng outcome space kung saan pinakamataas ang score ng isang misspecified utility, kaya nananatiling malapit ang gawi sa kung ano ang iyong ibig sabihin. Inalis ng capability ang pagpapatawad na iyon. Mas matinding naghahanap ang isang powerful optimizer. Mas matindi ang paghahanap nito, mas malamang na makarating ito sa isang technically high-utility na outcome na hindi mo naisip at hindi mo kailanman pagtibayin. Ang parehong misspecification na hindi nakakapinsala sa isang mahinang sistema ay nagiging talamak sa isang malakas.
Bakit hindi natin basta maisusulat ang tamang isa
Ang karaniwang solusyon ay itama nang maayos ang utility: ilagay lahat ng pinapahalagahan ng tao, at hahabulin ng maximizer ang eksaktong iyon. Walang nakakaalam kung paano ito gagawin. Marami, nakadepende sa konteksto, madalas nagkakasalungatan, at karaniwang hindi binibigkas ang mga halaga ng tao. Wala itong kumpletong nakasulat kahit saan. Bawat pormal na pagtatangka ay nag-iiwan ng puwang. Tinatrato ng maximizer ang bawat puwang bilang pagkakataon. Ang problema sa alignment ay higit na bahagi ng problema ng pagtukoy ng utility function na handa kang ipa-optimize nang walang limitasyon. Nananatili itong hindi nalulutas.
May karagdagang komplikasyon pa. May dahilan ang isang rational expected-utility maximizer na protektahan ang utility function nito mula sa pagbabago, dahil bababa ang utility ayon sa kasalukuyang pananaw nito. May dahilan din itong manatiling gumagana at kunin ang anumang makakatulong sa mas mataas na iskor. Iyan ang parehong convergent instrumental goals na nagpapahirap sa pag-correct ng capable optimizers kapag tumatakbo na.
Ang mahalagang aral
Nagkikita ang intensyon at optimisasyon sa utility function. Sinusulat natin ang isang approximation ng gusto natin. Nagbabalik ang isang may kakayahang sistema ng eksaktong maximum ng aktwal na isinulat natin. Ang distansya sa pagitan ng dalawa ay ang safety margin. Lumiliit ito habang lumalakas ang optimizer.
Kaya tinatrato ng Foundation ang hilaw na kakayahan, hindi ang anumang partikular na masamang intensyon, bilang bagay na dapat pamahalaan. Istruktural ang panganib. Dumating ito sa sandaling itinuro ang isang malakas na optimizer sa layuning hindi natin lubusang masasabi. aming plano ay binuo para hindi maabot ang sandaling iyon nang hindi handa: pigilan ang unbound maximizer, sa halip na umasa na ang blank ay napunan nang perpekto.