Narinig na ng lahat ang termino. Mas kaunti ang nakakaalam kung ano talaga ang ibig sabihin nito. Lumalabas ang "Artificial superintelligence" sa Senate testimony, corporate filings, at academic papers, minsan bilang babala, minsan bilang pangako, at madalas nang walang definition. Ipinaliwanag ng gabay na ito nang malinaw, nang hindi inaakala ang dating kaalaman, at ipinapaliwanag kung bakit napakahalaga ng konsepto para sa policy at governance.

Ang spectrum ng AI: mula sa narrow hanggang super

Para maunawaan ang artificial superintelligence, makakatulong na maunawaan kung ano ito hindi. Ang artificial intelligence, tulad ng umiiral ngayon, ay narrow. Paglalarawan iyan, hindi kritisismo.

Napakahusay ngayon ng mga AI system sa loob ng mga tinukoy na larangan. Tinalo ng chess engines ang mga world champion nang sobrang laki. Pinaikli ng protein-folding AI ang mga dekada ng biological research sa loob lang ng ilang buwan. Kayang magsulat ng code, magbuod ng legal documents, at gumawa ng persuasive prose nang mas mabilis kaysa kahit sino. Nakikita ng medical imaging AI ang mga cancer na nalalampasan ng mga radiologist.

Totoong mga nagawa ito. May built-in ceiling din ang mga ito. Ang mga AI system ngayon ay gumagana sa loob ng mga hangganang idinisenyo at tinrain para sa kanila. Hindi makakapaglaro ng Go ang isang chess engine. Hindi makakapagsagawa nang independyente ng mga aksyon sa pisikal na mundo ang isang language model. Hindi maipapaliwanag ng isang medical imaging AI kung ano ang ginagawa nito o makakapag-adjust kapag may nakaharap itong bago. Makapangyarihang kasangkapan ang mga AI system ngayon. Pero hindi sila mga agent.

Ano ang AGI?

Artipisyal na Pangkalahatang Katalinuhan (AGI) ay tumutukoy sa susunod na threshold: AI na tumutugma sa antas ng tao sa cognitive performance sa lahat ng domain, hindi lang sa mga partikular na gawain. Ang isang AGI ay maaaring maglipat ng kakayahan sa pagitan ng mga domain tulad ng ginagawa ng tao, gamit ang reasoning na binuo para sa isang problema para lapitan ang isang ganap na naiiba. Hindi ito limitado sa training distribution nito. Maaari itong matuto ng bagong kasanayan, makipag-ugnayan sa mga bagong sitwasyon, at mangatwiran sa mga paraang hindi inasahan ng mga designer nito.

Ang AGI ay wala pa. Ang nagpapakita ng pagkakaiba nito sa AI ngayon ay hindi raw capability sa makitid na domain (ang AI ngayon ay lumalampas na sa human performance sa maraming makitid na domain) kundi ang generality. Ang kakayahang dalhin ang general intelligence sa anumang cognitive problem, tulad ng isang human engineer na maaaring maging project manager, maging writer, maging magulang na nag-navigate sa medical decision para sa anak.

Ano ang ASI?

Artipisyal na Super Katalinuhan (ASI) mas malayo pa. Inilalarawan nito ang AI na hindi lamang tumutugma sa pagganap ng tao sa lahat ng domain kundi lumalampas pa rito, posibleng ng mga order of magnitude, at sa buong saklaw ng intelektwal na aktibidad.

Mahalagang maunawaan nang maayos ang salitang "exceed." Hindi namin inilalarawan ang isang sistema na sampung porsyentong mas mahusay kaysa sa tao sa mga gawaing mahusay gawin ng tao. Inilalarawan namin ang mga sistema na maaaring lumampas pa sa pinagsamang kakayahan ng buong sangkatauhan sa pag-iisip, sa anumang larangan, nang sabay-sabay. Isang sistema na kayang bumuo ng mga teoryang pang-agham nang mas mabilis kaysa sa anumang pangkat ng mga mananaliksik, magdisenyo ng mga estratehikong plano nang mas epektibo kaysa sa anumang gobyerno, at makibagay sa mga bagong sitwasyon nang mas mabilis kaysa sa anumang organisasyon ng tao.

Ang mga pangunahing katangian ng ASI ay:

  • Superhuman performance sa lahat ng cognitive domains. Sa agham, estratehiya, pagkamalikhain, social reasoning, engineering, chess, protein folding, at anumang iba pang uri ng intellectual activity.
  • Pagkakaroon ng layunin. Ang kakayahang ituloy ang mga layunin (kasama na ang posibleng self-selected objectives), hindi lang sundin ang mga utos.
  • Ang kakayahang mag-recursive self-improvement. Ang kakayahang pagbutihin ang sarili nitong cognitive architecture, na ginagawang mas may kakayahan ang bawat susunod na bersyon kaysa sa nauna.
  • Operasyon sa bilis at sukat ng makina. Pagproseso ng impormasyon at paggawa ng mga aksyon sa bilis at sukat na lubhang nagpapahirap sa makabuluhang pangangasiwa ng tao.

Bakit ASI ay iba sa uri, hindi sa antas

Ang pinakamahalagang pagkakaiba sa AI safety ay ang pagkakaiba sa pagitan ng tool at agent, hindi ang sa pagitan ng weak at strong AI.

Bawat transformative technology sa kasaysayan ng tao (ang steam engine, kuryente, ang internet, nuclear fission) ay isang kasangkapan. Pinalaki nito ang kakayahan ng tao. Pinalawak nito ang magagawa ng mga tao. Ngunit hindi nito maitakda ang sarili nitong mga layunin. Hindi makapagpasya ang steam engine na magbigay ng kuryente sa isang gilingan sa halip na sa isang pabrika. Hindi makapili ang antibiotic kung aling bacteria ang papatayin. Hindi matutukoy ng internet kung ano ang ipapamahagi nito.

Ang ASI ay magiging agent. Hindi sa metaporikal na kahulugan na inilalarawan natin ang mga korporasyon o merkado bilang agents, kundi literal: isang sistemang may kakayahang tumukoy ng mga layunin, bumuo ng mga estratehiya para makamit ang mga ito, iangkop ang mga estratehiyang iyon bilang tugon sa mga hadlang, at gawin ang lahat ng ito sa bilis at sukat na lumalampas sa human oversight.

Ito ay lubos na nagbabago sa governance challenge. Ang angkop na regulatory response sa isang powerful tool ay kontrolin kung sino ang makaka-access at paano ito gagamitin. Ang angkop na tugon sa isang powerful agent na may potensyal na misaligned goals ay tiyakin na ligtas ang mga goals bago pa maging sapat ang lakas ng agent para ituloy ang mga ito nang epektibo. Ang pangalawang problema ay mas mahirap, at nangangailangan ng aksyon nang mas maaga.

Ang problema sa alignment ay pumapasok dito

Ang pariralang "potentially misaligned goals" ang pinagtutuunan ng pansin ng AI safety literature. Kung ang ASI ay magpupursige ng mga goals, ang kritikal na tanong ay: kaninong goals? Aligned sa ano?

Ito ay hindi isang simpleng engineering problem. Ang pag-specify ng "beneficial for humanity" sa mga termino na sapat na tumpak upang pamahalaan ang behavior ng isang capable optimizer ay napatunayang napakahirap. Hindi sumasang-ayon ang mga tao kung ano ang ibig sabihin ng beneficial. Ang ating mga values ay hindi pare-pareho at nagbabago sa paglipas ng panahon. At ang mapping mula sa high-level human intentions patungo sa specific numerical parameters na namamahala sa behavior ng isang AI system ay hindi isang solved problem, at nagiging mas mahirap lutasin habang nagiging mas capable ang mga systems.

Ang alignment problem ay tinalakay nang malalim sa aming explainer tungkol sa alignment problem. Para sa artikulong ito, ang mahalaga ay ang koneksyon: ang ASI na hindi reliably aligned sa human values ay isang ahente na hinahabol ang sarili nitong mga layunin, na may kakayahang pangkaisipan na malampasan ang karamihan sa mga pagtatangkang pigilan ito, hindi lamang isang makapangyarihang kasangkapan na maaaring magamit nang mali.

Ang standard model ng AI, kung saan tinutukoy mo ang isang objective at ino-optimize ito ng AI, ay malamang na magiging wakas natin.

Stuart Russell, Propesor ng Computer Science, UC Berkeley · May-akda, Human Compatible

Kailan kaya darating ang ASI?

Matapat na sagot: walang nakakaalam nang eksakto, at sinumang nag-aangkin ng katiyakan sa alinmang direksyon ay lumalampas sa ebidensya.

Ano ang alam namin:

  • Ang bilis ng pag-unlad ng kakayahan ng AI ay palaging lumalampas sa mga hula ng mga eksperto nitong nakaraang dekada. Ang mga milestone na inasahang aabutin ng sampung taon ay paulit-ulit na nangyari sa loob ng dalawa o tatlong taon.
  • Ang mga nangungunang AI laboratories (OpenAI, Anthropic, Google DeepMind, Meta AI) ay naglalarawan na ngayon ng mga timeline para sa human-level AI sa loob ng mga taon, hindi dekada. Ito ang internal working assumption ng mga organisasyong pinakamalapit sa frontier, hindi fringe speculation.
  • Maraming pampublikong forecast mula sa mga mananaliksik at laboratoryo ngayon ay nagtitipon sa pagitan ng mga 2027 at 2030s para sa human-level o transformative AI, na may natitirang hindi pagkakasundo tungkol sa bilis ng pagbagsak ng mga huling mahirap na hakbang.
  • Ang mga pag-unlad sa kakayahan na dati’y tumatagal ng mga taon ay ngayon ay dumarating sa loob ng ilang buwan. Ang agwat mula sa GPT-2 (2019) hanggang sa mga sistema na higit na mahusay kaysa sa karamihan ng mga tao sa karamihan ng cognitive benchmark ay naabot sa wala pang limang taon.

Ang pinakamahalagang katotohanan ay hindi isang eksaktong petsa kundi isang istruktural na bagay. Ang teknolohiya ng ganitong kalakihan ay maaaring dumating sa loob ng planning horizons ng kasalukuyang institusyon, pamahalaan, at kasunduan. Ang Nuclear Non-Proliferation Treaty ay tumagal ng mga taon upang mapagkasunduan at mga dekada upang mapalawig sa komprehensibong framework na kinakatawan nito ngayon. Kung maghihintay tayo hanggang sa malinaw na malapit na ang ASI bago simulan ang seryosong pagsisikap sa pamamahala, huli na tayo para makabuo ng mga framework na kailangan upang pamahalaan ito.

Bakit governance ngayon, hindi mamaya

Ang karaniwang argumento laban sa precautionary governance ay dapat tayong maghintay hanggang sa totoong banta bago ito i-regulate. Kapag inilapat sa AI, sinasabi ng argumentong ito: wala pa ang ASI, hindi tiyak ang timeline nito, at hindi natin dapat pigilan ang isang kapaki-pakinabang na teknolohiya batay sa speculative future risks.

Parang makatwiran ang argumento. Nabigo ito sa masusing pagsusuri dahil sa ilang dahilan.

Una, may hangganan ang window para bumuo ng governance frameworks. Taon ang kinakailangan para makipagnegosasyon ng international treaties, taon para itayo ang mga institusyon, at taon para makamit ang political consensus. Kung magsisimula tayong magtayo kapag urgent na ang banta, hindi tayo matatapos sa oras.

Pangalawa, bounded ang mga gastos ng precautionary governance. Ang mga kinakailangan sa compute licensing, mandatory safety audits, at international monitoring regimes ay nagdudulot ng tunay ngunit mapapamahalaang gastos. Ang mga gastos ng hindi sapat na pamamahala sa isang misaligned superintelligence ay walang hanggan. Maaaring ito ay total.

, at ipinakita nito ang nuclear exchange na dumaan sa Lawrence, Kansas, at Kansas City: ang flash, ang firestorm, ang mga survivor na dahan-dahang namamatay dahil sa radiation sa mga guho ng lahat ng pamilyar. Nang gabing iyon ay isinulat ni Reagan sa kanyang diary na "labis siyang nalungkot" sa pelikula. Sa parehong entry ay naglagay siya ng resolusyon: kailangang gawin ng bansa ang lahat para masiguro na hindi mangyayari ang nuclear war.

Ang Nakada Foundation's tatlong panukalang patakaran (compute governance, isang international AI safety treaty, at isang Global AI Monitoring Agency) ay direktang ginagaya ang mga precedent na ito. Hindi ang tanong kung posible ang gayong mga balangkas. Sinasabi ng kasaysayan na posible. Ang tanong ay kung mabubuo natin ang mga ito sa tamang panahon.

Ang pinakamalakas na pagtutol

Ang pinakamabuting pagtutol ay na ang ASI ay undefined hype at na ang pag-regulate dito ngayon ay science fiction law. Ang mga undefined marketing terms ang dahilan kung bakit dapat nakabatay ang batas sa compute, capability, at autonomy, hindi sa brand names. Ang paghihintay ng perpektong dictionary entry ay kung paano ka darating pagkatapos na gumana na ang sistema.