Panganib ng Superintelligence

Ang Mga Panganib ng
Napakataas na Katalinuhan

Tatlong kategorya ng panganib, dalawang ekspertong probability estimate, at ang opisyal na global countdown.

Tatlong Kategorya ng Panganib

Di-pagkakahanay

Isang AI na nag-o-optimize para sa maling layunin, walang masamang hangarin, ngunit may mapaminsalang epekto. Ang sapat na may kakayahang sistema ay itutuloy ang layunin nito sa anumang paraang magagamit, kasama na ang mga hindi natin sinasadya o inasahan.

Maling Paggamit

Superhuman intelligence na ginagamit ng mga malisyosong aktor: mga nobelang bioweapons, autonomous cyberattacks, disinformation sa civilizational scale, o pamimilit sa mga gobyerno at critical infrastructure.

Konsentrasyon ng Kapangyarihan

Isang kumpanya, gobyerno, o AI na nakakakuha ng walang kontrol na kapangyarihan sa mga kritikal na global system. Kahit ang mabuting hangarin na aktor na may ganitong kapangyarihan ay nagdudulot ng existential threat sa kalayaan at self-determination ng tao.

Ano ang Tinatantya ng mga Arkitekto

10-20%

Probability na magdulot ng human extinction ang AI sa loob ng siglong ito

Geoffrey Hinton Nobel Prize in Physics 2024 · dating VP, Google · 2023

10-25%

Ang probabilidad ng sakunang pandaigdigang sukat mula sa AI

Dario Amodei CEO, Anthropic

Ang Opisyal na Countdown

89 segundo

hanggang Midnight, Doomsday Clock

Ang pinakamalapit sa 78-taong kasaysayan ng orasan. Ngayon ay malinaw na isinasama ang panganib ng AI kasama ang banta nuklear.

Bulletin ng mga Siyentipikong Atomiko · Enero 2025

"Sa tingin ko kung mali ang teknolohiyang ito, maaari itong maging lubhang mali. Gusto naming maging vocal tungkol diyan. Gusto naming makipagtulungan sa gobyerno para maiwasan iyon."

Sam Altman
CEO, OpenAI
Senado ng Estados Unidos · 2023

Patakaran at Pamamahala

Ang Pamamahala
Agwat

Itinatayo ang superintelligence sa isang karerang walang finish line. Walang umiiral na binding international rules para pigilan ito, o kahit pabagalin.

1,300+

Mga patakaran ng Global AI na dokumentado ng OECD (2025). Ang karamihan ay mga hindi-binding na panuntunan at boluntaryong balangkas. Wala ang nagpapataw ng maipapatupad na mga limitasyon on the development of superintelligent AI systems.

Ang Hindi Pagkakatugma sa Paggastos

Gastos sa kapital ng industriya ng AI sa buong mundo (tantiya para sa 2026) $527 Bilyon

EU AI Act kabuuang badyet sa pagpapatupad ~$1 Bilyon

527× na mas maraming pagtatayo kaysa pamamahala.

The UK's AI Security Institute (formerly the AI Safety Institute) received £100 million over two years, less than the world's largest AI labs spend in a single week. (Chatham House, 2026)

Mga Kritikal na Kakulangan sa Kasalukuyang Sistema

✗ Walang umiiral na pandaigdigang kasunduan o tratado na nagbubuklod sa pagpapaunlad ng superintelligence

✗ Ang Framework Convention on AI ng Council of Europe (ang unang binding treaty) ay hindi kasama ang China, isang pangunahing kapangyarihan sa AI

✗ Ang AI Action Plan ng administrasyon ng US ay aktibong nagpoprotekta sa industriya mula sa binding federal regulation

✗ Walang independent international mechanism na umiiral para i-inspect o i-verify ang pagsunod ng AI lab sa mga safety standards

✗ Ang lobbying ng industriya sa Brussels pa lang ay umabot sa $175M noong 2025 (tumataas ng 50% sa loob ng apat na taon) at lumalampas na sa kapasidad ng regulasyon

"Gumagawa tayo ng isa sa mga pinakamalaking pagbabago at posibleng mapanganib na teknolohiya sa kasaysayan ng sangkatauhan, pero parang hindi natin magawang pindutin ang pause button."

Yoshua Bengio
Nagwagi ng Turing Award
Mila · 2023

Makasaysayang Precedente

Nagawa Namin
Ito Bago

Na-control na ng international law ang mga banta na makakapagwakas ng sibilisasyon noon. Totoo ang mga precedent, at gumana ang mga ito.

Tatlong Precedent na Nagtagumpay

1968

Nuclear Non-Proliferation Treaty

191 bansa ang pumirma. Walang bagong nuclear-armed states ang lumitaw mula noong 1998. Napigilan ang nuclear annihilation nang mahigit 55 taon, at patuloy pa rin. Pinapatupad ito ng IAEA na may binding on-site inspections.

1987

Protokol ng Montreal sa Pagkaubos ng Ozone

Ipinagbawal ang mga kemikal na sumisira sa ozone. Ngayon ay gumagaling na ang ozone layer. Itinuturing ng United Nations bilang pinakamatagumpay na pandaigdigang kasunduan sa kapaligiran sa kasaysayan.

1993

Kumbensyon sa mga Sandatang Kimikal

193 member states. Mahigit 99% ng declared chemical weapons stockpiles ang nawasak na. Pinapatupad ng OPCW sa pamamagitan ng binding on-site inspections sa buong mundo.

Ang Pinagkakasunduan ng mga Siyentipiko

500+

Pumirma ang mga AI scientist sa 2023 Statement on AI Risk, na nagdeklara na ang extinction risk ay isang pandaigdigang priyoridad "kasama ng pandemics at nuclear war." Kabilang sa mga pumirma sina Hinton, Bengio, Altman, at mahigit 500 researcher.

Center for AI Safety · 2023

50+

May mga konkretong hakbang na ginawa ang mga bansa para tugunan ang panganib ng AI safety, pero wala pa ring tunay na internasyonal na koordinasyon.

Noong 2025

"Nasa parehong bangka tayong lahat tungkol sa existential threat mula sa AI, kaya dapat ay makakapagtulungan tayong lahat para pigilan ito."

Geoffrey Hinton
Laureado ng Nobel
MIT Technology Review · 2023

Ang Solusyon

Isang Kasunduan tungo sa
Iligtas ang Sangkatauhan

Umiiral ang balangkas sa precedent. Wala pa ang political will. Narito kung ano ang dapat isama ng isang nagbubuklod na internasyonal na kasunduan tungkol sa superintelligence.

Limang Haligi ng Kasunduan sa AI

01

Pagsubaybay sa Compute

Internasyonal na pangangasiwa sa hardware na kailangan para i-train ang frontier AI. Kapag lumampas sa tinukoy na threshold ang training runs, kailangan ng mandatory review ng independent body, modeled sa IAEA nuclear monitoring.

02

Mga Threshold ng Pag-unlad

Napagkasunduang capability limits na nalalapat sa buong mundo. Anumang AI system na lumalampas sa mga tinukoy na benchmark ay dapat tumigil para sa mandatory independent safety certification bago pa man magpatuloy sa scaling o deployment.

03

Mga Mekanismo ng Beripikasyon

Magsasagawa ang independent international inspectors (katulad ng IAEA nuclear inspectors) ng on-site audits sa mga AI labs. Hindi puwedeng tanggihan nang unilateral ang access. Ipapatupad ang compliance, hindi hihingin lang.

04

Mga Protokol sa Pagtugon sa Krisis

Bubuhayin ang pre-agreed emergency procedures kapag nakita ang mga palatandaan ng misalignment o dangerous capability emergence. Walang iisang bansa o kumpanya ang makakapigil o makakapagpaliban ng international response.

05

Demokratikong Multilateral na Pamamahala

Walang kumpanya, gobyerno, o indibidwal ang kumokontrol sa treaty body. Ang oversight ay sa pamamagitan ng multilateral consensus, na pumipigil sa parehong AI-driven power seizure at pagkuha ng anumang bansa.

Batay sa

Nuklear

NPT → IAEA

May bisa mula 1968 · 191 bansa · Awtoridad sa on-site inspection

Kemikal

CWC → OPCW

May bisa mula 1997 · 193 bansa · 99% ng mga stockpile nawasak

Biyolohikal

BWC

May bisa mula 1975 · 183 bansa · Nangangailangan ng protocol sa pagpapatunay

"Kailangan natin ng isang pandaigdigang 'humanity defense organization' para pamahalaan ang mga panganib mula sa mapanganib na AI, bago pa mahuli ang lahat."

Yoshua Bengio
Nagwagi ng Turing Award
2023

Ang Mga Panganib ngNapakataas na Katalinuhan