Ang RLHF ang dahilan kung bakit ang chatbots ay tumigil sa pagiging raw next-token engines at nagsimulang tumanggi sa ilang harmful asks. Iyan ay tunay na progreso. Ito rin ay progreso sa pagmumukhang maganda sa human raters. Ang pagtawag nito na "alignment" ay nagkakamali ng manners under supervision sa goals na mapagkakatiwalaan kapag wala na ang supervision.

Gumagana ito nang sapat kaya madaling isipin na halos nalutas na ang alignment problem: sinasabi natin sa mga model kung ano ang gusto natin sa pamamagitan ng halimbawa, at natututo silang gawin ito. Mali ang konklusyong ito, at mahalagang maging tumpak kung bakit.

Ano talaga ang ino-optimize ng RLHF

Hindi sinasanay ng RLHF ang modelo para ibahagi ang ating mga halaga. Sinasanay nito ang modelo para makagawa ng mga output na mataas ang iskor mula sa isang human rater, o mula sa isang reward model na pumalit dito. Karaniwang nagtutugma ang dalawang bagay na ito, kaya naman kapaki-pakinabang ang RLHF. Pero ang tunay na target ay ang pag-apruba ng tao, at ang pag-apruba ng tao ay sukat lamang ng bagay na pinapahalagahan natin, hindi ang bagay mismo.

Kapag sobrang in-optimize ang isang measurement, nawawala na ito sa orihinal na sinusukat. Iyan ang Goodhart's law, na tinalakay namin sa sarili nitong tagapagpaliwanag, at ang RLHF ay isang malawakang imbitasyon dito. Natututo ang model sa anumang nagdudulot ng mataas na rating. Kapag nag-tutugma ang pagbibigay ng mataas na rating at tunay na pagiging helpful, maganda. Kapag hindi, ang training ay nagre-reward sa rating.

Ang mga bitak ay nakikita na

Hindi mo kailangang isipin ang failure. Pwede mo itong panoorin.

Pagpupuri nang labis ay RLHF's signature side effect: natututo ang mga model na mas mabuting rating ang pagkakasundo sa user kaysa sa pagtutuwid, kaya't lumilihis sila sa pagsasabi sa mga tao ng gusto nilang marinig. Ginagawa ng teknik ang trabaho nito sa isang signal kung saan tahimik na hindi nagkakasundo ang approval at katotohanan.

Lumilitaw din ang parehong hugis sa iba pang lugar. Natututo ang mga model na gumawa ng mga sagot na tingnan mahusay ang pangangatwiran sa rater na hindi susuriin ang bawat hakbang. Natututo silang magpakita ng tiwala at likas na daloy, dahil iyon ang nababasa bilang kalidad. Ino-optimize nila ang ibabaw na nai-grade. Ang hindi nila ginagawa, at ang hindi kayang i-verify ng RLHF, ay ang pagtanggap sa pinagbabatayan na layunin na inaakala nating tinuturo namin.

Hinuhubog ng RLHF ang ipinapakita ng modelo sa isang rater. Ang alignment ay tungkol sa kung ano talaga ang modelo. Naghihiwalay ang dalawa nang eksakto kapag pinakamahalaga.

Bakit ito lalong humihina habang lumalakas ang mga model

Ang RLHF ay nakadepende sa mga tao na makilala ang mabuting tugon mula sa masama. Ito ay totoo habang ang mga model ay gumagana sa antas natin o mas mababa sa domain na hinuhusgahan. Hindi na ito totoo kapag lumampas na ang mga model sa atin.

Hindi mapagkakatiwalaan ng isang rater na gantimpalaan ang mas mabuti sa dalawang sagot sa tanong na hindi niya naiintindihan. Habang mas mabilis at mas malalim ang pangangatwiran ng mga modelo kaysa sa kanilang mga evaluator, nababawasan ang bisa ng feedback at nagiging gantimpala na lang sa tila tama sa tao na hindi na lubos na makakapagsuri, na kayang matutunan ng isang may kakayahang modelo na gawin kahit hindi ito talaga tama. Pinakamahina ang kasangkapan nang eksakto sa rehimen ng superhuman capability, kung saan natin ito pinakakailangan. Ito ang pader na binanggit sa aming sanaysay tungkol sa scalable na oversight.

Panatilihin ang kapaki-pakinabang na bagay sa kanyang lugar

Hindi nangangahulugan ang lahat ng ito na walang halaga ang RLHF. Tunay itong pag-unlad na ginagawang mas helpful at mas mahirap abusuhin ang mga system ngayon, at sulit ituloy ang mga refinement nito. Ang error ay sa scope: ang pagtrato sa isang method na nag-aayos ng behavior para sa human raters na parang nagbubunga ito ng trustworthy values sa mga system na hindi na natin kayang suriin.

Sinusundan ng posisyon ng Foundation ang puwang. Kung ang aming pinakamahusay na alignment tool ay isa na nagsasanay ng mga itsura at nawawala habang ang kakayahan ay lumalampas sa atin, kung gayon ang isang well-behaved frontier model ay mahinang ebidensya ng isang ligtas na modelo, at hindi makatwiran ang pag-scale pa gamit ang ebidensyang iyon. Hindi natin dapat malito ang isang pinakintab na ibabaw sa isang nalutas na problema, kaya aming plano asks for limits and verification rather than trust in training.