Ang precautionary principle ay nagmula sa environmental law at kasalukuyang naka-embed na sa mga international instruments. Ang pinakakilalang pagkakabuo nito ay ang Principle 15 ng 1992 Rio Declaration: kapag may banta ng seryoso o hindi na maibabalik na pinsala, hindi dapat gamitin ang kakulangan ng buong scientific certainty bilang dahilan para ipagpaliban ang cost-effective na mga hakbang para pigilan ito. May mga variant na lumalabas sa buong European Union law at sa mga treaties tungkol sa klima, biodiversity, at hazardous substances. Eksaktong para sa mga sitwasyon kung saan ang paghihintay ng patunay ay nangangahulugang masyadong matagal ang paghihintay ang prinsipyong ito.

Ang prinsipyo ay nagsasabi na kapag may aktibidad na nagbabanta ng seryoso o hindi maibabalik na pinsala, hindi dapat gamitin ang kawalan ng buong siyentipikong katiyakan para ipagpaliban ang protektadong aksyon. Ang panuntunang iyan ang pinakamalakas na legal na pundasyon para kumilos sa AI risk bago pa magpakita ng punto ang isang sakuna.

Bakit bagay ito sa AI nang husto

May awkward na katangian ang kaso para sa AI risk: ang pinakamalalang senaryo ay hindi pa nangyari, at hindi maipapakita nang maaga nang hindi isinasagawa ang eksperimento. Ginagamit ito ng mga kritiko para iwaksi ang pag-aalala—walang patunay, walang problema. Ang precautionary principle ang direktang sagot. Ito ay ginawa para sa mga banta na malubha at potensyal na hindi na maibabalik pero hindi pa tiyak, at binabaliktad nito ang burden: ang tanong ay hindi kung napatunayan na ang sakuna, kundi kung sapat na seryoso ang posibilidad para bigyang-katwiran ang protective action dahil sa kung ano ang nakataya.

Dalawang tampok ng frontier AI ang ginagawang malapit ito sa isang textbook case para sa prinsipyo. Ang potensyal na pinsala ay nasa pinakamataas na dulo ng severity scale, plausibly catastrophic at irreversible. At ang agham ay tunay na uncertain, na may mga kredibleng eksperto na nagbibigay ng meaningful probability sa loss-of-control scenarios at walang maaasahang paraan para maalis ang mga ito. Grave, irreversible, uncertain: ito mismo ang profile na tinutugunan ng precautionary principle.

Ano ang kinakailangan ng pag-iingat sa praktika

  • Paglilipat ng pasanin ng patunay. Dapat pasanin ng mga developer ng pinakamakapangyarihang sistema ang responsibilidad na patunayan ang kaligtasan bago i-deploy, imbes na pasanin ng lipunan ang pasanin na patunayan ang panganib pagkatapos ng katotohanan, gaya ng ginagamit na sa mga parmasyutiko at nuclear plant.
  • Kumilos bago pa maging tiyak. Hindi dapat maghintay ang governance ng isang demonstrated catastrophe bago bigyang-katwiran ang may-bisang limitasyon, dahil sa irreversible risks ang demonstration mismo ang sakuna.
  • Proporsyonal sa laki ng panganib. Ang sukat ng precaution ay dapat tumugma sa sukat ng potential harm; ang highest-severity risks ay nagbibigay-katwiran sa strongest measures.
  • Ang reversibilidad bilang priyoridad. Kung maaari, panatilihin ang mga opsyon at iwasan ang mga hakbang na nagsasara ng pagkakataong magtama sa hinaharap—isang prinsipyong direktang may kaugnayan sa teknolohiyang maaaring magpatibay sa sarili.

Ang mga pagtutol

May tunay na mga kritiko ang precautionary principle, at ang tapat na advocacy ay nakikipag-ugnayan sa kanila. Ang pinakamalakas na pagtutol ay na, kapag sobra-sobra, ang pag-iingat ay maaaring makaparalisa: halos anumang aktibidad ay may ilang conceivable catastrophic risk, at ang prinsipyong nagsasabing 'kumilos laban sa lahat ng hindi pa napatunayang malalaking banta' ay maaaring bigyang-katwiran ang pagharang sa kapaki-pakinabang na innovation sa speculative grounds. Napapansin din ng mga kritiko na may sariling gastos ang pag-iingat (forgone benefits, kasama ang posibilidad na ang AI mismo ay makakapigil sa iba pang mga sakuna) at dapat isama ang mga ito sa kalkulasyon.

Hindi tinatalo ng mga puntong ito ang prinsipyo; dinidisiplina lang nila ang paggamit nito. Ang sagot ay ang precaution ay proportional action laban sa mga banta na parehong serious at credibly supported, na tinatimbang ang costs of action laban sa costs of inaction, hindi "ban everything that could conceivably go wrong". Ang frontier AI ay kwalipikado hindi dahil may maisip na masamang outcome, kundi dahil ang credible experts ay nagbibigay ng real probability sa catastrophic, irreversible loss of control. Ang prinsipyo ay humihingi ng measures na proportionate sa specific, well-supported risk na iyon, hindi sa blanket halt sa technology.

Para sa isang hindi maibabalik na panganib, ang 'maghintay ng patunay' ay kabaligtaran, hindi pag-iingat. Umiiral ang precautionary principle para hindi natin kailanganin pang maranasan ang sakuna bago tayo bigyan ng karapatang pigilan ito.

Ang pundasyon para sa pagkilos ngayon

Mahalaga ang precautionary principle para sa pamamahala ng ASI dahil inaalis nito ang pinakakaraniwang argumento para sa pagkaantala, na hindi dapat tayo mag-regulate hanggang mapatunayan ang mga panganib. Sa batas at etika, nabigo ang argumentong iyon para sa eksaktong uri ng banta na kinakatawan ng AI. Ang malubha, hindi maibabalik, at hindi tiyak na mga pinsala ang paradigm case para sa pagkilos bago ang katiyakan, na may pasanin sa mga lumilikha ng panganib na ipakita na ito ay nakokontrol. Hindi nito tinutukoy kung ano ang dapat na mga hakbang; iyan ang gawain ng disenyo ng kasunduan, verification, at thresholds. Ngunit tinutukoy nito ang naunang tanong kung lehitimo bang kumilos sa ilalim ng kawalan ng katiyakan. Oo, at ipinapaliwanag ng prinsipyo kung bakit.