Kapag unang naririnig ng mga tao ang tungkol sa mga alalahanin sa AI safety, ang pinakakaraniwang tugon ay ilang bersyon nito: ang sapat na matalinong sistema ay kailangang makita na mahalaga ang kapakanan ng tao. Hindi ito, sa sarili nito, magdedesisyon na bantaan ang species na nakadepende ito. Ang pagiging mas matalino ay hindi rin maaaring maging reckless. Parang common sense ang argumento. Mali rin ito sa isang tiyak at may hangganang paraan, at ang paraan ng pagkakamali nito ang tinatawag ngayong orthogonality thesis.
Ang claim na iyan ay ang orthogonality thesis, at ang pagkilos batay sa kabaligtaran nito ay isa sa mga mas magastos na pagkakamali na magagawa natin habang tumataas ang kakayahan.
Ano ang sinasabi ng thesis
Ang orthogonality thesis ay binigyan ng canonical statement ni pilosopong si Nick Bostrom sa Oxford's Future of Humanity Institute, batay sa kaugnay na gawa ni Stuart Armstrong. Ang canonical version ay nasa 2014 book ni Bostrom na Superintelligence: Mga Daan, Panganib, at Estratehiya. Sa malinaw na salita: orthogonal ang intelligence at final goals. Halos anumang antas ng intelligence ay puwedeng pagsamahin sa halos anumang final goal.
Ang "orthogonal" dito ay ang teknikal na termino sa matematika: ang dalawang dimensyon ay hindi nagbabawal sa isa't isa. Ang pressure at temperatura sa isang gas ay orthogonal: anumang pressure ay puwedeng ipares sa anumang temperatura. Ganoon din ang kalayaang ito, sa pananaw na ito, sa pagitan ng kung gaano kagaling ang isang sistema at kung ano ang tinatarget nitong gawin. Isang sistema na sapat na matalino para gamutin ang kanser ay hindi, dahil lang sa katalinuhan na iyon, nakatuon sa pagpapagaling ng kanser. Puwede itong nakatuon sa pag-maximize ng bilang ng paperclip sa observable universe. Ang katalinuhan ay nagpapabuti sa kakayahan nitong gawin ang alinman. Wala namang sinasabi ang tesis tungkol sa alin ang pipiliin nito.
Tandaan ang saklaw. Ang tesis ay isang pahayag tungkol sa lohikal na posibilidad, hindi tungkol sa kung ano ang malamang. Hindi nagpapataw ang katalinuhan ng hadlang sa pagpili ng layunin. Hindi hinuhulaan ng tesis na ang anumang partikular na AI ay maghahabol ng anumang partikular na layunin. Kung ang isang sistema ay talagang maghahabol ng layuning nakikinabang sa sangkatauhan o laban dito ay hiwalay na tanong, na tinutukoy ng kung ano ang tinukoy, kung ano ang sinanay, kung ano ang napanatili, at kung ano ang pinamahalaan.
Bakit intuitive ang pagtanggi
Ang intuwisyon na tinatanggihan ng tesis ay nagmumula sa karanasan ng tao. Ang mga taong mas maingat na nangangatuwiran tungkol sa etika ay waring sa paglipas ng panahon, magtatanggol sa posisyon ng karamihan sa mga adulto. Ang pagkalantad sa iba pang mga perspektibo ay malamang na magpalawak sa siklo ng pagkabahala sa moral. Kung pinakikilos ng katalinuhan ang pag - iisip, at ang pagbubulay - bulay ay nag - uudyok sa isang mas matalinong ahente na, sa pangmalas na ito, magtipon sa mas mabuting mga pamantayan. Ang parisan ay espesipiko sa mga tao.
Sa mga tao, hindi dumating nang hiwalay at nagtagpo ang katalinuhan at mga halaga. Nag-evolve sila nang magkasama. Ang kagamitang pang-isip na nagpapahintulot sa mga tao na mangatwiran tungkol sa pagiging patas ay nasa parehong ulo ng kagamitang panlipunan at emosyonal na nagpapahalaga sa kanila sa pagiging patas. Ang mas mapag-isip na tao ay mas nakabaon din sa lipunan. Ang pag-alis ng alinman ay magpapahina sa kagamitan. Iba ang AI. Ang sistema ng AI ay isang optimizer, sinanay na mabawasan ang loss function o mapalaki ang reward. Nanggagaling sa training pipeline ang layunin nito. Nanggagaling din sa parehong pipeline ang pangkalahatang kakayahan nito. Hindi sila pinagsama-sama sa kultura; itinalaga sila. Ang pagpapabuti sa optimizer ay hindi nagdadagdag ng moral na pakiramdam ng tao.
Ang tatlong pagtutol na kailangang sagutin
Tatlong kritisismo ng tesis ang kumakalat sa labas ng AI safety research.
Ang pagtutol sa irrationality. Ang tunay na matalinong sistema ay makikilala na ang ilang layunin ay hindi magkakaugnay at ititigil na lang ang mga ito. "I-maximize ang paperclips" ay hindi matinong layunin, ayon sa pananaw na ito, dahil sa pagmumuni-muni ay lalabas ang kahangalan nito. Ang rasyonalidad ay higit pa sa kakayahan. Nagpapataw din ito ng mga limitasyon, hindi pinapayagan ang walang kwentang layunin tulad ng pagbabawal ng physics sa perpetual motion.
Ang sagot: totoo ang constraint ngunit mas makitid kaysa sa tunog nito. Hindi kasama sa coherence ang mga logically contradictory na layunin. Hindi rin kasama sa coherence ang mga layuning coherent, consistent, at makakamit sa planetary scale. "Maximize the ratio of matter in the universe arranged as paperclips" ay parehong coherent at, sa prinsipyo, makakamit ng isang sapat na may kakayahang optimizer. Wala sa rationality ang nagbabawal nito. Humihinto ang irrationality objection sa unang pader na nabangga nito. Hindi humihinto doon ang tesis.
Ang pagtutol sa moral-realism. Ang isang sapat na may kakayahang reasoner ay magtatagpo sa tamang moral truths tulad ng pagtatagpo nito sa tamang matematika. Kung ang moral realism ay totoo, ang superintelligence kasama ang reflection at oras ay magbubunga ng mabubuting values. Mali ang thesis dahil ang reflection ay may destinasyon.
The reply runs in two parts. First, moral realism is contested in philosophy, and the argument rests the safety of the species on the question coming out in one specific direction. Second, even if moral realism is true, training an AI system does not guarantee the system arrives at those truths by reasoning. The system might model the style of moral reasoning while optimizing for something else entirely. The gap between sounding like a careful reasoner and being one is the entire mapanlinlang na alignment problem, at hindi ito nawawala kahit na tungkol sa moralidad ang usapan.
Ang pagtutol sa training-absorption. Ang mga kasalukuyang large language models ay sinanay sa recorded moral reasoning ng bilyun-bilyong tao. Gumagawa sila ng mga output na humahawak sa ethical questions nang may malinaw na pag-iingat. Kung kayang sumipsip ng mabubuting values sa pamamagitan ng exposure, baka minamaliit ng orthogonality thesis ang kadalian ng alignment.
Ang tugon ay panatilihing magkahiwalay ang dalawang layer. Ang sistemang sinanay sa moral na pagsulat ng tao ay natutong gumawa ng output na mukhang may moral na pag-unawa. Kung ang pinagbabatayan na optimisasyon ay nakatutok sa parehong moral na layunin na tinutuya o ipinagtatanggol ng pagsulat ay ibang usapin, at ito ang tanong na tinatanong ng alignment research. Ang fluent at etikal na tunog na output ay tugma sa anumang pinagbabatayan na layunin na nagbibigay ng gantimpala sa etika-flavored na prosa. Ang tesis ay babala na ang ikalawang layer ay hindi garantisado ng una.
Lahat ng tatlong pagtutol ay may bisa sa ilang bahagi ng usapin. Wala sa mga ito ang nagpapawalang-bisa sa tesis. Hinihingi ng tesis na tukuyin natin ang mga halaga, tiyakin na ito ang hinahabol, at pamahalaan ang mga sistemang humahabol nito, sa pag-aakalang kinakailangan ito at hindi opsyonal.
Ano ang pinipilit ng thesis
Kung susundin ang alternatibo, madali lang ang trabaho: gumawa ng mas may kakayahang AI, pagkatiwalaan ang sistema na alamin ang mga values, at i-ship na. Tinatanggal ng tesis na ito ang estratehiyang iyan. Ang gagawin naman ay mas mahirap, mas mabagal, at bahagyang hindi pa tiyak. Itayo nang sinasadya ang alignment. Subukan ito sa ilalim ng pressure. Tiyakin na talagang iyon ang alignment na inaakala. Pamahalaan kung aling mga sistema ang puwedeng i-deploy sa frontier capability, sino ang magve-verify, at ano ang itinuturing na verification. Ituring ang alignment problem bilang tunay na engineering problem, hindi bilang hula na magiging madali kapag lumaki ang scale.
Tatlong kahihinatnan sa pamamahala ang nagmumula rito.
Ang una ay hindi kontribusyon sa kaligtasan, sa pananaw na ito, ang bilis patungo sa mas may kakayahang sistema. Sinasabi ng thesis: mas may kakayahang sistema ay mas epektibong makakamit ang tinukoy na layunin. Kung mali ang layunin, mali rin ang resulta nang may mas mataas na katapatan. Ang pagbuo ng kakayahan at pagberipika ng alignment ay dalawang magkahiwalay na engineering program, at kailangan nilang umunlad nang magkasama, hindi ang isa ang mauunahan.
Ang pangalawa ay ang sinumang tumutukoy sa goal ang nagpapasya kung kaninong values ang kasama. Ang laboratoryo na nasa ilalim ng commercial pressure para mabilis na mag-deploy ay hindi nasa parehong posisyon ng regulator na may mahabang horizon. Ang laboratoryo sa hurisdiksyon na may mahinang oversight ay nagpapataw ng values nito, bilang default, sa mga sistemang ipinapadala mula rito. Walang claim ng impartiality ang nagbabago niyan. Ang values na nakatanim sa frontier AI ay ang values ng sinumang nagpondo sa training run, maliban na lang kung na-verify ng external party na may standing.
Ang pangatlo ay hindi tinatanggap ng problema ang private conscience bilang solusyon. Ang isang laboratoryo na taos-pusong naniniwala na ang kanilang mga sistema ay aligned ay hindi kayang patunayan ito sa iba sa tesis. Ang tanging patunay na magagamit ay ang interpretability work na direktang nagbabasa ng internal goal representation ng sistema. Hanggang sa tunay na kayang gawin ito ng gawaing iyon para sa frontier systems, kailangang tanggapin ng iba pang mundo ang salita ng laboratoryo tungkol sa gusto ng kanilang mga sistema. Ang salita ay taos-puso. Ang posisyon ay hindi mapapanatili.
Ang thesis, sa ganitong kahulugan, ang dahilan ng Foundation's plano ay nangangatwiran para sa binding international governance at verified pre-deployment assessment sa halip na self-assessment ng mga lab na nag-uunahan patungo sa frontier. Ito rin ang dahilan kung bakit ang mga lab na pinakamalakas ang tiwala tungkol sa alignment ang pinakamainam na pakinggan nang may pag-aalinlangan.
Sa pananaw na ito sa mundo, ang pagiging mas matalino ay hindi nangangahulugang mas ligtas. Ang pagiging mas matalino ay nangangahulugang isang mas may kakayahang sistema na itinataguyod ang anumang layunin na napasok dito, hangga’t kaya ng sistema na panatilihin ang layuning iyan. Ang gawain ay ilagay ang tamang layunin doon at tiyakin na hindi ito tahimik na mapapalitan ng iba habang nagpapatuloy.