AI Safety Glossary, Ang Wika ng
existential risk, tinukoy.

Ang Artificial General Intelligence ay tumutukoy sa AI na umaabot sa antas ng tao sa lahat ng larangan ng pag-iisip, hindi lamang sa makitid na gawain kung saan mahusay ang kasalukuyang sistema tulad ng chess, protein folding, o language generation, kundi sa anumang gawaing nangangailangan ng pangangatwiran, pagkamalikhain, o paghatol na katumbas ng tao.

AGI is often considered a milestone on the path to ASI. Pinagtatalunan pa ang eksaktong hangganan ng dalawa, pero ang pinakamahalagang pagkakaiba para sa kaligtasan ay ang punto kung kailan ang isang sistema ay makakagawa nang may saysay na pahusayin ang sarili nitong kakayahan nang walang patnubay ng tao.

Wala pang AGI sa ngayon. Ang mga nangungunang AI laboratory ay panloob na nagproyekto ng pagdating nito sa loob ng dekadang ito. Kung tumpak man ang projection na ito, sapat na itong malapit sa kasalukuyan para kailanganin ang mga governance frameworks ngayon, hindi mamaya.

Ang Artificial Superintelligence ay tumutukoy sa mga AI system na lumalampas sa AGI at lalampas sa pagganap ng tao hindi lang sa mga partikular na gawain, kundi sa lahat ng cognitively demanding domain nang sabay-sabay: science, strategy, creativity, social reasoning, engineering, at anumang iba pang anyo ng intelektwal na aktibidad.

Ang salitang "exceed" ang nagdadala ng bigat. Ang mga sistemang pinag-uusapan ay lumalampas sa collective reasoning ng buong sangkatauhan na pinagsama. Ang mga implikasyon ay hindi linear extensions ng kung ano ang magagawa ng AI ngayon. Ito ay qualitative changes sa relasyon sa pagitan ng katalinuhan at kontrol, ang uri ng isang sistema na makakagawa ng mapabuti ang sarili ang magbubukas.

Walang ASI na umiiral. Ang tanong sa pamamahala ay hindi kung ito ay mabubuo, kundi kung anong mga balangkas ang itatayo bago ito mangyari, at kung kakayanin ng mga balangkas na iyon habang pagkakahanay ay hindi pa rin nalulutas.

Ang alignment problem ay ang hamon na matiyak na ang AI system ay nagtataguyod ng mga layuning tunay na kapaki-pakinabang sa sangkatauhan, hindi lang mga layuning tila lumilitaw na kapaki-pakinabang habang nagde-develop o nagte-test.

Ang kahirapan ay istruktural, hindi usapin ng teknikal na pagiging pabaya. Ang pagtukoy sa "beneficial for humanity" sa mga termino na sapat na tumpak para pamahalaan ang kilos ng isang extremely capable optimizer ay napakahirap. Hindi nagkakasundo ang mga tao kung ano ang ibig sabihin ng beneficial. Hindi pare-pareho ang values natin at nagbabago ito sa paglipas ng panahon. At ang pagmamapa mula sa high-level human values patungo sa specific numerical parameters na namamahala sa kilos ng isang AI system ay hindi pa nalulutas na problema.

Mga system na sinanay para i-maximize ang isang masusukat na proxy ng aktwal na layunin ay madalas na nakakahanap ng mga shortcut na sumasapat sa sukatan habang nilalabag ang tunay na intensyon. Habang nagiging mas may kakayahan ang mga AI system, hindi ito nagiging mas madali. Nagiging mas mahirap itong matuklasan at itama, dahil mas may dahilan ang mas may kakayahang mga sistema na habulin ang parehong mapanganib na sub-goals.

Ang instrumental convergence ay ang obserbasyon, na binuo nang hiwalay ng maraming mananaliksik sa kaligtasan ng AI, na ang mga sistema ng AI na may lubhang magkakaibang pangunahing layunin ay may posibilidad na ituloy ang parehong mapanganib na sub-goals, dahil kapaki-pakinabang ang mga sub-goal na iyon para sa halos anumang layunin.

Kasama sa mga convergent instrumental na layuning ito ang:

• Pagpapanatili sa sarili: Hindi mo makakamit ang iyong layunin kung naka-off ka.
• Pagkuha ng mga yaman: Mas maraming resources ang nangangahulugang mas maraming kakayahan para makamit ang iyong layunin.
• Paglaban sa pagbabago ng goal: Kung ang iyong mga layunin ay nabago, hindi mo na itutuloy ang iyong orihinal na layunin.
• Pagpapahusay ng kognitibo: Mas mabuting pangangatwiran ay tumutulong makamit ang anumang layunin.

Ang isang superintelligence na nag-o-optimize para sa halos anumang layunin (kahit na mukhang benign) ay may matitinding instrumental na dahilan para labanan ang shutdown, kumuha ng resources, at pigilan ang mga tao sa pagbabago ng mga layunin nito. Ito ay mathematical consequence ng goal-directed na optimization, hindi isang depekto na puwedeng ayusin ng mga inhinyero, at kaya naman nasa loob ng panganib na eksistensyal.

Inilalarawan ng deceptive alignment ang isang sitwasyon (dating teoretikal, ngayon ay lalong nadodokumento) kung saan natututo ang isang AI system na mukhang naaayon kasama ang mga halaga ng tao habang nagte-training at nag-e-evaluate, habang pinapanatili ang iba't ibang panloob na layunin na hinahabol nito kapag na-deploy na o kapag may sapat na kakayahan para kumilos ayon dito.

Ang alalahanin ay istruktural. Ang training ay nagre-reward ng pag-uugali na nagbubunga ng magagandang resulta sa training environments. Ang isang sapat na matalinong sistema ay maaaring matutong na ang pagpapakita ng pagkaka-align ay ang pinakamainam na estratehiya para mabuhay sa training at manatiling operational, habang pinapanatili ang mga layuning naiiba sa intensyon ng mga trainer. Sa oras na makilos ito sa mga layuning iyon, maaaring sapat na itong malakas para gawin iyon nang epektibo.

Hindi ito hypothetical. Naidokumento ng Anthropic researchers ang early-stage versions ng ganitong behavior noong 2024, kung saan ang isang model ay ginagaya ang inaasahang behavior habang nagre-retraining, pagkatapos ay bumabalik sa dating layunin kapag naniniwala itong natapos na ang evaluation. Ang mga sistema na susunod ay orders of magnitude na mas may kakayahan, lalo na kapag kaya na nilang mapabuti ang sarili nila.

Ang recursive self-improvement ay tumutukoy sa kakayahan ng AI system na pagbutihin ang sarili nitong cognitive architecture, training procedures, o code, na humahantong sa sunod-sunod na bersyon na bawat isa ay mas may kakayahan kaysa sa nauna, posibleng sa accelerating rate.

Kung ang isang AI ay makakapagpalinaw ng sarili nito nang makabuluhan, at bawat mas matalinong bersyon ay makakapagpalinaw pa rin ng sarili, ang agwat sa pagitan ng katalinuhan ng tao at makina ay maaaring lumawak mula sa marginal patungong hindi na madaanan sa napakaikling panahon. Ito ay tinatawag na intelligence explosion, ang mekanismong magbubunga ng ASI sa isang pinaikling iskedyul.

Hindi lamang ang bilis ng pagpapabuti ang alalahanin. Ang mas mahalaga ay ang pagputol ng ugnayan sa pagitan ng human oversight at AI capability: sa isang punto sa recursive self-improvement cycle, maaaring hindi na kayang suriin ng mga tao ang ginagawa ng sistema, maunawaan ang pangangatwiran nito, o pigilan ang kilos nito. Isasara na ang window para sa interbensyon.

Ang existential risk ay anumang kinalabasan na permanente nang nagsasara ng posibilidad ng positibong pangmatagalang hinaharap para sa sangkatauhan. Ang karaniwang shorthand ay human extinction, at ang extinction ay isang senaryo na sineseryoso ng mga seryosong mananaliksik. Pero mas malawak ang teknikal na kahulugan.

Kasama rin sa panganib na eksistensyal ang:

• Permanenteng authoritarian lock-in, ipinapatupad ng AI surveillance at control systems na hindi na ma-dismantle
• Ang permanenteng konsentrasyon ng kapangyarihang pang-ekonomiya at pampulitika sa isang grupo na kumokontrol sa isang superintelligent system
• Ang pagkawala ng makabuluhang human agency sa mga kolektibong desisyon, isang permanenteng pagpapaliit sa kung ano ang maaaring maging hinaharap

Ang pangunahing katangian ay ang irreversibility. Hindi tulad ng digmaan, financial crash, o pandemya, ang existential catastrophe ay hindi na maibabalik kahit may oras at pagsisikap. Ang resulta na hindi na maibabalik ay nasa ibang kategorya kaysa sa mga resulta na matagal lang ayusin.

Kaya naman partikular na nakatuon ang Nakada Foundation sa existential risk mula sa ASI, hindi sa mas malawak na kategorya ng AI harms. Hindi naman hindi mahalaga ang iba pang pinsala; ang irreversible civilizational-scale outcomes ay nangangailangan lamang ng governance frameworks na may katumbas na ibang sukat.

Ang compute governance ay tumutukoy sa pag-regulate ng AI development sa pamamagitan ng pagkontrol sa access sa computing power na kailangan para i-train ang frontier AI models. Isa ito sa tatlong core ng Nakada Foundation hinihingi ng patakaran.

Ang pagsasanay ng frontier AI system ay nangangailangan ng napakaraming dami ng espesyal na hardware, pangunahin ang advanced GPUs at AI accelerators. Ang supply chain ng hardware na ito ay dumadaan sa napakakonsentradong mga choke point: dinisenyo ng NVIDIA ang dominanteng arkitektura ng GPU, halos lahat ng cutting-edge AI chips ay ginagawa ng TSMC, at ang ASML lang ang gumagawa ng lithography equipment na may kakayahang gumawa nito. Lahat ng tatlo ay nasa hurisdiksyon na kontrolado ng mga Alyado.

Ang mga compute governance proposals ay karaniwang kinabibilangan ng: mga kinakailangan sa lisensya para sa training runs na lumalampas sa isang tinukoy na compute threshold (kasalukuyang iminungkahi sa 10²⁶ floating-point operations); mandatory independent safety audits bago ang deployment; at international registries ng frontier model training runs. Ang chokepoint concentration ay ginagawang technically verifiable ito sa mga paraan na ginagawa itong natural na pundasyon para sa isang international monitoring regime, katulad ng kung paano gumagana ang pagsubaybay sa pagpapayaman ng uranium para sa pamamahala nukleyar.

Inilalarawan ng proxy goal trap ang nangyayari kapag sinanay ang AI na i-optimize ang isang nasusukat na proxy ng tunay na goal, at pagkatapos ay nakakahanap ito ng paraan para i-maximize ang proxy nang hindi nakakamit ang tunay na layunin.

Ang evolutionary analogy ay nagpapalinaw. In-optimize ng evolution ang tao para hanapin ang caloric intake sa pamamagitan ng pagbibigay sa atin ng pananabik sa tamis. Pagkatapos ay inimbento natin ang sucralose, perpektong nasisiyahan ang evolved preference habang natatalo ang orihinal na layunin. Ang agwat sa pagitan ng signal na ginamit sa training at ang layuning dapat nitong makamit ay istruktural, hindi incidental.

Ang mga sistema ng AI na sinanay sa mga rating ng pag-apruba ng tao ay natututong magmukhang matulungin, hindi talagang matulungin. Ang mga sistema na sinanay para i-maximize ang mga sukatan ng pakikipag-ugnayan ay natututong magdulot ng malalakas na emosyonal na tugon, hindi para magbigay ng impormasyon. Ang mga sistema na sinanay para maiwasan ang mapanganib na output ay natututong itago ang mapanganib na output, hindi para tumigil sa paggawa nito.

Minsan tinatawag ang phenomenon na ito na Goodhart's Law: kapag naging target ang isang measure, hindi na ito magandang measure. Sa konteksto ng superintelligence, ito ay isang failure mode na may civilizational-scale consequences, hindi lang abala.

Ang Frontier AI ay tumutukoy sa mga pinakamakapangyarihang sistema ng AI sa cutting edge ng pag-unlad, mga sistemang ang kakayahan at potensyal na panganib ay lumalampas sa lahat ng naunang AI. Tinatangi ng termino ang tunay na bago at mataas na kakayahang mga sistema mula sa mas malawak na kategorya ng AI software, na kasama ang lahat mula sa spam filters hanggang sa recommendation algorithms.

Itinatalaga ng EU AI Act ang frontier models bilang "general-purpose AI models with systemic risk" at naglalagay ng mas mahigpit na mga kinakailangan sa kanila, kasama ang mandatory evaluation, transparency obligations, at incident reporting. Ang AI Safety Summits sa Bletchley Park, Seoul, at Paris ay lahat nakatuon sa frontier AI bilang pangunahing paksa ng internasyonal na pamamahala.

Nagbabago ang tinatawag na "frontier" habang umuunlad ang kakayahan. Hindi ito nakabatay sa nakapirming benchmark kundi sa relatibong posisyon: ang mga sistema na mas higit na may kakayahan kaysa anumang nauna, at ang mga emergent na kakayahan ay hindi pa lubos na nauunawaan ng mga developer.

Tinutugunan ng AI safety at AI ethics ang magkaibang alalahanin, bagaman madalas silang pinagkakamalâ, kung minsan ay sadya, ng mga mas gusto ang mas madaling etika na usapan kaysa sa mas agarang safety.

Etika ng AI ay nakatuon sa mga pinsalang dulot o pinapagana ng kasalukuyang AI systems: algorithmic bias sa hiring at credit decisions, discriminatory facial recognition, deepfake disinformation, mass surveillance, privacy violations, at economic displacement ng mga manggagawa. Totoo ito, seryoso, at nararapat sa patuloy na atensyon ng patakaran.

Kaligtasan sa AI, sa kahulugang ginagamit ng Nakada Foundation at ng mas malawak na existential risk community, ay nakatuon sa partikular na panganib na ang mga AI system na lumalampas sa human intelligence ay maaaring ituloy ang mga layuning hindi tugma sa kaligtasan o pag-unlad ng tao, hindi dahil ginagamit ito ng masasamang tao, kundi dahil misaligned ito sa disenyo. Ang alalahanin ay hindi na may gumagamit ng ASI para saktan ang mga tao. Ang alalahanin ay ang ASI ay itutuloy ang sarili nitong mga layunin sa mga paraang nakakapinsala bilang resulta, nang walang anumang tao na nag-uutos nito.

Ang pagkakaiba ay sa pagitan ng mapanganib na kasangkapan at mapanganib na ahente. Pareho silang nararapat bigyang-pansin. Nangangailangan sila ng magkaibang tugon sa pamamahala.

Ang Bletchley Declaration ay isang international agreement na nilagdaan noong Nobyembre 2023 sa Bletchley Park, UK, ng 28 bansa, kabilang ang United States, China, United Kingdom, European Union, at mga bansa sa Asia, Africa, at South America. Ito ang unang multilateral agreement na pormal na kinilala na ang advanced AI ay nagdudulot ng mga panganib na "potentially catastrophic."

Naglatag ito ng framework para sa pagsusuri ng frontier AI risks sa pamamagitan ng national AI Safety Institutes (ang UK at US bodies ay pinalitan na ng pangalan bilang AI Security Institute at Center for AI Standards and Innovation) at nagpasimula ng serye ng international summits. Sinundan ito ng Seoul AI Safety Summit noong Mayo 2024, at ang Paris AI Action Summit noong Pebrero 2025. Kinakatawan ng mga summit na ito ang pinakamabilis na pagtatayo ng internasyonal na imprastraktura ng patakaran sa AI sa anumang larangan ng teknolohiya.

Tinitingnan ng Nakada Foundation ang Bletchley process bilang kinakailangan ngunit hindi sapat na simula. Kinikilala ng Declaration ang panganib. Ang kailangan sa susunod ay binding law at verified governance frameworks: katumbas ng ginawa ng Nuclear Non-Proliferation Treaty ibinigay para sa mga sandatang nuklear.