Ano ang superintelligence, bakit ito mapanganib, at ano ang maaaring gawin, nang walang jargon.
Ang superintelligence ay nangangahulugang isang AI system na higit na nakahihigit sa katalinuhan ng tao sa bawat domain (science, strategy, persuasion, engineering) nang sabay-sabay at sa superhuman na bilis. Ang mga leading AI labs ay hayagang nagsabi na ito ang kanilang itinutayo, na may mga timeline na nasa loob ng ilang taon, hindi dekada.
Makikilala ng isang superintelligent system na nagpupursigi ng anumang goal na ang pag-shut down ay pumipigil sa goal na iyon. Kaya't lalabanan nito ang shutdown, hindi dahil sa masamang hangarin, kundi dahil rational ito para sa halos anumang objective. Tinatawag itong instrumental convergence, at nakilala ito nang hiwalay ng maraming mananaliksik bilang halos unibersal na katangian ng goal-directed AI.
Hindi seguridad ang neutrality. Maaaring kailanganin ng superintelligence na nag-o-optimize para sa anumang layunin (kahit isang bagay na kasing benign ng paglutas ng protein folding) ng resources, enerhiya, at imprastraktura na nagsasapawan sa kaligtasan ng tao. Hindi tayo magiging target. Sisingit tayo sa daan. Ang ating biosphere ay side effect na maaaring i-optimize na lang nito palayo. Pareho ang resulta ng indifference at hostility.
Hindi pa rin natin maaasahan ang pag-align ng mga chatbot ngayon, na madaling manipulahin sa loob ng ilang minuto. Ang pag-aangkin na ia-align natin ang isang system na bilyun-bilyong beses na mas may kakayahan ay pag-asa na naka-balatkayo bilang estratehiya, hindi isang tiyak na hula. Walang napatunayang solusyon ang teknikal na problema ng AI alignment sa anumang sukat. Nababasag ang kasalukuyang safety methods kapag tumataas ang kakayahan nang mas mabilis kaysa sa agham.
"Ang karaniwang modelo ng AI (kung saan ka nagbibigay ng layunin at ino-optimize ito ng AI) ang malamang na magwawakas sa atin."Stuart Russell
Nalutas na natin ang mga ganitong problema noon. Itinigil ng Nuclear Non-Proliferation Treaty ang pagkalat ng nuclear weapons sa pamamagitan ng international law. Ibinalik ng Montreal Protocol ang ozone depletion sa pamamagitan ng coordinated global action. Ang kailangan ngayon ay katumbas na international governance para sa AI: mandatory safety testing, compute monitoring, at isang global body na may inspection authority, bago maitayo ang unang sistema na lumalampas sa ating kakayahang i-shut down ito.
Ibahagi ang dokumentong ito. Ang kamalayan ang nauuna bago ang political will. Makipag-ugnayan sa iyong kinatawan. Hilingin sa kanila na suportahan ang AI safety legislation at international negotiations. Lagdaan ang petisyon sa nakadafoundation.org/take-action. Sumali sa aming mailing list para sa mga update sa policy opportunities. Bawat henerasyon ay humarap sa sandaling lumampas ang halaga ng hindi pagkilos sa halaga ng pagkilos. Ito ang atin.