Ano ba ang AI ng Konstitusyon? | Nakada Foundation to Save Humanity

Q: Ano ba ang AI ng Konstitusyon? | Nakada Foundation to Save Humanity

Constitutional AI is a training method, developed by Anthropic, in which a model evaluates and revises its own outputs against a written set of principles called a constitution, rather than relying entirely on humans labeling harmful responses. The model critiques and improves its answers according to the principles, and its judgments of which responses better satisfy them are used to train it, an approach sometimes called reinforcement learning from AI feedback.

Q: Ano ba ang AI ng Konstitusyon? | Nakada Foundation to Save Humanity

Standard RLHF trains a model using human rankings of its responses. Constitutional AI moves much of that judgment to the model itself, which compares and critiques responses against an explicit written constitution instead of depending on people to label each case. The main differences are that the values are written down and readable rather than implied by many individual labels, and that the feedback can be generated at scale without a human in every loop.

Q: Ano ba ang AI ng Konstitusyon? | Nakada Foundation to Save Humanity

Its principles are explicit and can be read, debated, and revised, which is more transparent than values implied by thousands of individual human labels. It scales the generation of feedback, removing the bottleneck and human cost of hand-labeling harmful content. And applying a single written standard uniformly can improve consistency compared with many different human raters. In practice it has produced models that are more helpful and less prone to obvious harms.

Q: Ano ba ang AI ng Konstitusyon? | Nakada Foundation to Save Humanity

No. It is a better way to steer behavior, but steering behavior was never the part of alignment we lacked. The method still trains a system to score well against a target, so an incomplete or internally conflicting constitution invites the same Goodhart-style exploitation as before. It shapes outward behavior without guaranteeing anything about the model's internal goals, leaving the inner alignment problem open, and it relies on the model's own honest judgment of its outputs, which cannot be assumed for a system approaching or exceeding human capability.

Ano ang
Konstitusyonal na Artipisyal na Katalinuhan?

Paano kung i-grade ng model ang sarili nito laban sa nakasulat na set ng principles sa halip na umasa sa human raters? Ang Constitutional AI ay parehong tunay na hakbang at limitado pa rin.

Ang Constitutional AI ay isang training method na binuo ng Anthropic. Ang ideya ay bawasan ang pagdepende ng behavior ng model sa mga tao na nagla-label ng harmful outputs, at sa halip hayaan ang model na suriin ang sarili nitong mga tugon batay sa nakasulat na set ng principles na tinatawag na constitution.

Sa praktika, gumagana ito sa dalawang yugto. Una, bumubuo ang model ng tugon, pagkatapos ay kinikritik ito laban sa konstitusyon at binabago ito, natututo mula sa sarili nitong mga pagwawasto. Pangalawa, inihahambing ng model ang mga pares ng tugon at hinuhusgahan kung alin ang mas nakakabagay sa mga prinsipyo, at ang mga paghatol na iyon ang nagsasanay dito katulad ng ginagawa ng mga ranggo ng tao sa RLHF. Dahil nanggagaling ang feedback sa modelo mismo na nag-a-apply ng konstitusyon at hindi sa mga tao, minsan tinatawag na reinforcement learning from AI feedback ang bahagi ng pamamaraang ito.

Ang Tama Nito

May tunay na mga pakinabang, at dapat itong aminin nang malinaw.

Ang mga prinsipyo ay malinaw. Sa halip na mga value na ipinahihiwatig ng libu-libong indibidwal na human label, may nakasulat na dokumento na maaari mong basahin, debatehin, at baguhin. Ito ay mas transparent kaysa sa isang tambak ng ratings.
Pinapabilis nito ang pagbuo ng feedback. Mabagal, magastos, at nakakapagod sa mga tagapag-label ang pag-label ng tao sa mapanganib na nilalaman. Kapag hinayaan ang model na gawin ang karamihan sa trabahong iyon, nawawala ang bottleneck.
Pwedeng nitong mapabuti ang consistency. Ang nakasulat na standard na inilalapat nang pantay-pantay ay iniiwasan ang ilang ingay at drift mula sa maraming magkakaibang human rater sa iba't ibang araw.

Totoong engineering gains ito, at nakagawa na ang constitutional AI ng mga modelong mas helpful at hindi gaanong madaling makagawa ng halatang pinsala. Walang interes ang Foundation na balewalain ang kapaki-pakinabang na gawain.

Ano ang hindi nito nalulutas

Ang mas mahihirap na tanong ay nabubuhay pa sa pamamaraan nang buo, at mahalagang makita kung bakit.

Ang teknik ay nag-o-optimize pa rin ng isang model upang matugunan ang isang nakasaad na pamantayan ayon sa paghatol ng isang model. Inilalabas nito ang tao sa per-response loop, at hindi nito binabago ang pinagbabatayan na hugis ng problema, na ang sistema ay sinasanay upang makagawa ng mga output na mahusay ang marka laban sa isang target. Kung hindi kumpleto ang konstitusyon, o nagkakasalungatan ang mga prinsipyo nito sa isang sitwasyong hindi inasahan ng sinuman, ino-optimize ng model ang literal na nakasulat, na may parehong Goodhart pressures tulad ng dati. Ang pagsulat ng mga values bilang konstitusyon ay hindi nakatatakas sa kahirapan ng pagtukoy sa values; inililipat lang ito sa loob ng dokumento.

Dalawang mas malalim na limitasyon ang nananatiling hindi natutugunan. Hinuhubog ng pamamaraan ang pag-uugali, at walang garantiya tungkol sa mga panloob na layunin ng modelo, kaya ang agwat sa pagitan ng mukhang aligned at tunay na aligned, ang panloob na pagkakahanay problema, ay bukas pa rin. At ito ay nakadepende sa sariling paghatol ng model sa mga output nito, na mapagkakatiwalaan lamang kung ang model ay tapat at may kakayahang humatol, eksaktong hindi natin maaasahan sa isang system na papalapit o lumalampas sa ating antas.

Mas mabuting paraan ang Constitutional AI para idirekta ang kilos. Hindi naman iyon ang bahagi ng alignment na hindi pa namin alam kung paano.

Panatilihin ito sa tamang sukat

Ang Constitutional AI ay isang magandang halimbawa ng pattern na binabantayan nang mabuti ng Foundation: tunay at mahalagang safety progress na madaling basahin nang labis kaysa sa aktwal. Ang mga method na ganito ay ginagawang mas controllable at mas transparent ang kasalukuyang models tungkol sa kanilang standards, at ito ay worth having. Hindi nila ipinapakita na puwede nating i-align ang isang sistema na higit na matalino sa atin, at hindi nila nasasara ang verification gap na pinagbabatayan ng buong argumento. Ang progress sa training ay welcome. Hindi ito dahilan para patuloy na i-scale ang capability sa pag-aakalang susunod na ang iba, na siyang kaso na inilatag sa aming plano.

Mga karaniwang tanong.

Ano ang constitutional AI?

Ang Constitutional AI ay isang training method, binuo ng Anthropic, kung saan sinusuri at binabago ng isang model ang sarili nitong outputs laban sa isang nakasulat na set ng principles na tinatawag na constitution, sa halip na umasa nang buo sa mga tao na nagla-label ng harmful responses. Kinikritiko at pinapabuti ng model ang mga sagot nito ayon sa mga principles, at ang mga paghatol nito tungkol sa kung aling responses ang mas nakakapagbigay-kasiyahan sa mga ito ay ginagamit para i-train ito, isang approach na minsan tinatawag na reinforcement learning from AI feedback.

Paano naiiba ang constitutional AI sa RLHF?

Ang standard na RLHF ay nagsasanay ng modelo gamit ang mga ranggo ng tao sa mga tugon nito. Ang Constitutional AI ay inililipat ang karamihan sa paghatol na iyan sa mismong modelo, na naghahambing at nagkukritik sa mga tugon laban sa isang malinaw na nakasulat na konstitusyon sa halip na umasa sa mga tao na mag-label sa bawat kaso. Ang pangunahing pagkakaiba ay ang mga halaga ay nakasulat at nababasa sa halip na ipinahihiwatig ng maraming indibidwal na label, at ang feedback ay maaaring gawin sa malaking sukat nang walang tao sa bawat loop.

Ano ang mga pakinabang ng constitutional AI?

Ang mga prinsipyo nito ay malinaw at mababasa, debatable, at mababago, na mas transparent kaysa sa mga values na ipinahihiwatig ng libu-libong indibidwal na human labels. Ito ay nagpapalaki sa pagbuo ng feedback, inaalis ang bottleneck at human cost ng hand-labeling ng harmful content. At ang paglalapat ng isang nakasulat na standard nang pantay-pantay ay maaaring mapabuti ang consistency kumpara sa maraming iba't ibang human raters. Sa praktika, ito ay nakagawa ng mga model na mas helpful at hindi gaanong madaling magdulot ng obvious harms.

Nalulutas ba ng constitutional AI ang alignment problem?

Hindi. Ito ay mas mabuting paraan para i-steer ang behavior, pero ang pag-steer ng behavior ay hindi kailanman ang bahagi ng alignment na kulang tayo. Ang method ay nagte-train pa rin ng system para mag-score nang maayos laban sa target, kaya ang incomplete o internally conflicting constitution ay nag-iimbita ng parehong Goodhart-style exploitation gaya ng dati. Hinuhubog nito ang outward behavior nang hindi ginagarantiya ang anumang bagay tungkol sa internal goals ng model, na iniiwan ang inner alignment problem na bukas, at umaasa ito sa honest judgment ng model mismo tungkol sa outputs nito, na hindi maaaring i-assume para sa system na lumalapit o lumalampas sa human capability.

Ano angKonstitusyonal na Artipisyal na Katalinuhan?

Ang Tama Nito

Ano ang hindi nito nalulutas

Panatilihin ito sa tamang sukat

Mga karaniwang tanong.

Magbasa pa

Isang mas epektibong paraan ng pagsasanayhindi isang nalutas na problema.

Ano ang
Konstitusyonal na Artipisyal na Katalinuhan?

Isang mas epektibong paraan ng pagsasanay
hindi isang nalutas na problema.